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人 工 神 经 网 络 特 有 的 非 线性 适应 性 信息 处 理 能 力 ， 克 服 了 传统 人 上 智能 方法 对 于 直 
觉 ， 如 模 发 、 语 音 识别 、 非 结构 化 信息 处 理 方面 的 缺陷 .使 之 在 神经 专家 系统 、 模 式 识别 、 
智能 控制 、 组 合 优化 、 预 测 等 领域 得 到 成 功 应 用 ， 人 工 神经 网 络 与 其 他 传统 方法 相 结 合 
将 推动 人 工 智 能 和 信息 处 理 技术 不 断 发 展 。 近 年 来 ， 人 工 神经 网 络 正 向 模拟 人 类 认 知 的 道 
路 上 更 加 深入 发 展 ， 蘑 模 糊 系 统 、 遗 传 算 法 、 进 化 机 制 等 结合 ， 形 成 计算 智能 ， 成 为 人 工 
智能 的 - -个 重要 方向 ， 将 在 实际 应 用 中 得 到 发 展 。 

用 MATLAB 语言 构造 典型 神经 网 络 的 激活 欧 数 ， 编 写 各 种 网 络 设 计 与 训练 的 子 程序 
网 络 的 设计 者 可 以 根据 月 己 的 需要 下调 用 工具 箱 中 有 关 神 经 网 络 的 设计 训练 程序 ， 使 肯 已 
能 够 从 繁琐 的 编程 中 解脱 出 来 。 

本 章 主要 对 MATLAB 语言 和 神经 网 络 做 简 槛 的 介绍 ， 已 经 有 这 方面 基础 的 读者 可 以 
跳 过 本章 的 学 习 。 

本 章 主 要 内 容 包括 

@ MATLAB 6.5 语言 简介 

量 ”神经 网 络 发 展 史 

鲁 ”神经 网 络 模型 

@@ ”人 工 神 经 网 络 的 特性 


11 MATLAB 6.5 语言 简介 


MATLAB 语言 是 一 种 非常 强大 的 工程 语言 ， 本 节 主要 对 该 语言 进行 简单 的 介绍 ， 包 
揪 MATLAB 的 产生 背景 及 主要 产品 、MATLAB 的 语言 特点 ， 以 及 MATLAB 6.5 新 版 本 所 
具有 的 新 特点 . 


1.1.1 MATLAB 的 产生 背景 及 主要 产品 


MATLAB 诞生 于 20 世纪 70 后代 , 它 的 编写 者 是 Cleve Moler 博士 和 他 的 同事 。 当 时 ， 
Cleve Maler 博 土 与 他 的 同事 开发 了 EISPACK 和 LINPACK 的 Fortran 子 程序 库 。 这 两 个 
程序 库 主要 是 求解 线性 方程 的 程序 库 。 但 足 ，Cleye Moler 发 现 学 生 使 用 这 两 个 程序 库 时 
.有 困难 ， 主 要 是 接口 程序 不 好 写 ， 很 费时 间 。 于 是 Cleve Moler 上 自己 动手 ， 在 业余 时 间 时 

写 了 HSPACK 和 LINPACK 的 接口 程序 .Cleve Moler 给 这 个 接口 程序 取 名 为 MAILAB， 
意 为 矩阵 (MATRIX) 和 实验 室 (LABORATORY ) 的 组 合 。 以 后 几 年 ，MATLAB 作为 锡 
费 软件 在 大 学 里 使 用 ， 深 受 大 学 生 的 喜爱 。 

1984 年 ，Cleve Moler 和 John Litde 成 立 了 MathWorks 公司 ， 正 式 把 MATLAB 推 向 市 





一 -、] 扩 L_MATLAB 6.5 辅助 神经 网 络 分 析 与 设计 


场 ， 并 继续 进行 MATLAB 的 开发 。1993 年 ，MathWorks 公司 推出 MATLAB 4.0; 1995 年 ， 
MathWorks 公司 推出 MATLAB4.2C 版 〈For Win3,x);， 1997 年 排出 MATLAB 5.0，2000 年 
10 月 ，MathWorks 公司 推出 MATLAB 60，2002 年 8 月 ， 新 的 版 本 MATLAB 6.5 已 经 开 
始 发 布 了 。 每 一 次 版 本 的 推出 部 使 MATLAB 有 长 足 的 进步 ， 界 面 越 来 越 友好 ， 内 容 越 来 
越 丰富 ， 功 能 越 来 越 强大 。 它 的 帮助 信息 采用 超 文本 格式 和 PPEF 格式 ， 可 以 很 方便 地 阅 

MATLAB 长 于 数值 计算 ， 能 处 理 大 量 的 数据 ， 而 且 效率 比较 高 。MathWorks 公司 在 
此 基础 上 开拓 了 符号 计算 、 文 字 处 理 、 可 视 化 建 模 和 实时 控制 能 力 ， 增 强 了 MATILAB 的 
市 场 竞争 力 ， 使 MATLAB 成 为 了 市 场 主流 的 数值 计算 软件 。 

MATLAB 产品 族 是 支持 从 概念 设计 、 算 法 开发 、 建 模仿 真 、 实 时 实现 的 理想 的 集成 
环境 。 无 论 是 进行 科学 研究 和 产品 开发 ，MATLAB 产品 族 都 是 必 不 可 少 的 工具 。 

MATLAB 产品 族 可 用 来 进行 : 
数据 分 析 
数值 和 符号 计算 
工程 与 科学 绘图 
控制 系统 设计 
数字 图 像 信 号 处 理 
财务 工程 
建 模 、 仿 真 、 原 型 开发 
应 用 开发 

@ 图 形 用 户 界 面 设计 

MATLAB 产品 族 被 广泛 地 应 用 于 包括 信号 与 网 像 处 理 、 榨 制 系统 设计 、 通 信 、 系 统 
仿真 等 诸多 领域 。 开 放 式 的 结构 使 MATLAB 产品 族 很 容易 针对 特定 的 需求 进行 扩充 ， 从 
而 在 不 断 深 化 对 问题 的 认识 的 同时 ， 提 高 自身 的 竞争 力 。 

MATLAB 产品 族 的 - -大 特性 是 有 众多 的 面向 基体 应 用 的 工具 箱 和 仿真 块 ， 包 含 了 完 
整 的 函数 集 用 来 对 信号 图 像 处 理 、 榨 制 系统 设计 、 神 经 网 络 等 特殊 应 用 进行 分 析 和 设计 。 
其 他 的 产品 延伸 了 MATLAB 的 能 力 ， 包 括 数据 采集 、 报 告 生成 和 依靠 MATLAB 语言 编 
程 产 生 独 立 C/C++ 代 码 等 - 

MATLAB 主要 产品 构成 如 下 : 

和 ”MATLAB 所 有 MathWorks 公司 产 操 的 数值 分 析 和 图 形 基础 环境 ，MATLAB 将 

2D 和 3D 图 形 、MATLAB 语言 能 力 集成 到 一 个 单 -的 、 易 学 易 用 的 环境 之 中 。 

@@ MATLAB Teolbox “- -系列 专用 的 MATLAB 函数 库 ， 解 决 特定 领域 的 问题 。 工 
具 箱 是 开放 的 可 扩展 的 ， 可 以 查看 其 中 的 算法 或 开发 自己 的 算法 。 

@@ MATLAB Compiler 将 MATLAB 语言 编写 的 M 文件 自动 转换 成 C 或 C++ 文件 ， 
支持 用 户 进行 独立 应 用 开发 。 结 合 Mathworks 提供 的 C/C++ 数 学 库 和 图 形 库 ， 用 
户 可 以 利用 MATLAB 快速 地 开发 出 功能 强大 的 独立 应 用 。 

@ 。 Simulink 是 结合 了 框图 界面 和 交互 仿真 能 力 的 非 线性 动态 系统 仿真 工具 。 它 以 
MATLAB 的 核心 数学 、 图 形 和 语言 为 基础 。 

@ Stateflow 与 Simulink 框图 模型 相 结合 ， 描 述 复杂 事件 由 动 系统 的 逻辑 行为 ， 驱 
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动 系统 在 不 问 的 模式 之 们 进行 切换 。 

和 @ ”RealLTime Worksbop 直接 从 Simaulink 框图 和 动 生成 C 或 Ada 代码 ， 用 于 快速 
原型 和 寞 件 夺回 路 仿真 ， 整 个 代码 生成 可 以 根据 需要 完全 定制 。 

@。 Simulink Biockset 专门 为 特定 领域 设计 的 Simaliak 功能 块 的 集合 ， 用 户 也 可 以 
利用 已 有 的 块 或 白 编写 的 C 和 MATLAB 程序 建立 白 己 的 块 。 














1.1.2 MATLAB 语 兰 特 点 


MATLAB 语言 有 不 同 于 其 他 高 级 语音 的 特点 ， 它 被 称 为 第 四 代 计 算 机 语言 。 正 如 第 
三 代 计 算 机 语言 如 Fortran 语言 与 C 语 并 等 使 人 们 摆脱 了 对 计算 机 使 件 的 操作 一 样 ， 
MATLAB 语言 使 人 们 从 巡 项 的 秩序 代码 中 解放 出 来 。 它 的 丰富 的 道 数 使 开发 者 无 关 重复 
编程 ， 只 要 简单 地 调用 和 使 用 即 。MATLAB 语言 最 大 的 特点 是 简单 和 真 接 。MATLAB 语 
言 的 主要 特点 有 以 下 几 点 。 

1 编程 效率 高 

MATLAB 是 一 种 面向 科学 与 下 程 计 算 的 高 级 语言 ， 允 许 用 数学 形式 的 语言 编写 程序 ， 
有 比 Basic、Fortran 和 C 等 语言 更 加 接近 我 们 书写 计算 公式 的 思维 方式 ， 用 MATLAB 纺 
写 程 序 犹如 东 演 算 纸 上 排列 出 公式 与 求解 问题 。 因 此 ，MAILAB 语言 也 可 通俗 地 称 为 演 
算 纸 式 科学 算法 语言 。 鳃 于 它 编写 简单 ， 所 以 编程 效率 高 ， 易 学 易 懂 。 

2. 用 户 使 用 方便 

MATLABR 语言 是 一 种 解释 执行 的 语 吉 〈 在 没有 被 专门 的 工具 编译 之 前 )， 它 灵活 、 方 
便 ， 其 调试 程序 手段 丰富， 调试 速度 快 ， 需 要 学 习 时 间 少 。 人 们 用 任何 一 种 诺言 编写 程序 
和 调试 程序 一 般 都 要 经 过 四 个 步 又: 编辑、 编译 、 连 接 及 执行 和 调试 。 各 个 步骤 之 间 是 顺 
序 关 系 ， 编 程 的 过 程 就 是 在 它们 之 加 做 瀑布 型 的 循环 。 MATLAB 说 言 与 其 他 语言 相 比 ， 
较 好 地 解决 了 上 述 问题 ， 把 编辑 、 编 译 、 连 接 和 协 行 融 为 ~ 体 。 它 能 在 回 - 画面 上 进行 只 
活 操 作 ， 快 速 排除 输入 程 岸 中 的 书写 错误 、 话 法 销 误 及 证 意 错误 ， 从 而 加 快 了 用 户 编写 、 
修改 和 调试 程序 的 速度 ， 可 以 说 在 编程 和 调试 过 程 中 它 趾 - 种 比 VB 还 了 和 莘 单 的 语言。 

具体 地 说 ，MATLAR 运行 时 ， 如 真 接 在 命令 行 输入 MATLAB 语 们 (命令 》 包括 调 
用 M 文件 的 语句 ， 个 输入- -条 语句 ， 就 立即 对 其 进行 处 再 ， 完 成 编译 、 连接 和 运行 的 全 
过 程 。 又 如 ， 将 MATLAB 源 程序 编辑 为 M 文件 ， 由 于 MATLAB 磁盘 文件 也 是 M 文件 ， 
所 以 编辑 后 的 源 文件 就 可 直接 运行 ， 而 不 需 进 行 编译 和 连接 。 在 庆 行 M 文件 时 ， 如 果 有 
错 ， 计 算 机 屏幕 上 会 给 出 详细 的 出 错 信息 ， 用 户 经 修改 后 再 执行 ， 直 到 正确 为 目 。 所 以 可 
久 说 ，MATLAB 语言 不 仅 是 一 各 语言， 而 且 从 广义 上 讲 是 - -种 该 语言 开发 系统 ， 即 语言 
调试 系统 。 

3. 扩充 能 力 强 ， 交 互 性 好 

高 版 本 的 MATLAB 语言 有 主 富 的 库 函 数 ， 在 进行 复杂 的 数学 运算 时 可 以 直 培 调用 ， 
而 且 MATLAB 的 库 函 数 与 用 户 文件 在 形成 上 一样 ， 所 以 用 户 文件 也 可 作为 MATLAB 的 
库 函数 来 调用 。 因 而 ， 用 户 可 以 根据 中 忆 的 需要 方便 地 建立 和 扩充 新 的 库 逊 数 ， 以 便 提高 
MATLAB 移 使 用 效率 和 扩充 它 的 功能 。 另 外 ， 为 了 充分 利用 Fortran、C 等 语 半 的 资源 ， 
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包括 用 户 已 编 好 的 Fortran、C 语言 程序 ， 通 过 建立 Me 调 文件 的 形式 ， 混 合 编程 ， 方 便 地 
调用 有 关 的 Forran、C 语言 的 子 程序 ， 还 可 以 在 C 语言 和 Fertran 语言 中 方 使 地 使 用 
MATLAB 的 数值 计算 功能 ， 这 样 良好 的 交 吾 性 使 程序 员 可 以 使 用 以 前 编写 过 的 程序 ， 减 
少 重复 性 工作 ， 也 使 现在 编写 的 程序 具有 重复 利用 的 价值 。 

4， 移 植 性 和 开放 性 都 很 好 

MATLAB 是 用 C 语言 编写 的 ， 而 C 语 半 的 可 移植 性 很 好 。 于 是 MATLAB 可 以 很 方 
便 地 移植 到 能 运行 C 语言 的 操作 平台 上 。MAILAB 适合 的 工作 平台 有 : Windows 系列 、 
UNIX、Linux、VMS6.4、PowerMac。 除 了 内 部 函数 外 ，MATLAB 所 有 的 核心 文件 和 工具 
箱 文件 都 是 公 玫 的 ， 都 是 可 读 可 写 的 源 文件 ， 用 户 可 以 通过 对 源 文件 的 修改 和 自己 编程 构 
成 新 的 工具 箱 。 

5， 语 名 简单， 内涵 丰富 

MATLASB 语言 中 最 基本 最 重要 的 成 分 是 纪 数 ， 其 - 般 形 式 为 fa, bc, …] = fan (d， 
ge，f，.…)， 即 -- 个 冰 数 由 函数 名 、 输 入 变量 〈d，e， 下 …) 和 输出 变量 Ca，b，c，…) 
组 成 。 同 -函数 名 F， 不 同 数目 的 输入 变量 〈 包 括 无 输入 变量 ) 及 不 同 数 是 的 输出 变量 ， 
代表 着 不 同 的 含义 《有 点 像 面 向 对 象 中 的 多 态 性 。 这 不 仅 使 MATLAB 的 库 函 数 功能 更 丰 
富 ， 而 且 大 大 减 小 了 需要 的 磁盘 空间 ， 使 得 MATLAB 编写 的 M 文件 简单 、 短 小 而 高 效 。 

6 高 效 方便 的 矩阵 和 数组 运算 

MATLAB 语言 像 Basic、Fortran 和 C 谨 音 - 样 规 定 了 矩阵 的 算术 运算 符 、 关 系 运 算 
符 、 遇 和 辑 运 算 符 、 条 件 运算 符 及 赋值 运算 符 ， 而 且 这 些 运算 符 大 部 4 分 帮 可 以 毫 无 改变 地 中 
搬 到 数组 间 的 运 等 ， 有 些 如 算术 运算 符 只 要 增加 “.” 就 可 用 于 数组 问 的 运算 ， 另 处 ， 它 
不 需 定义 数组 的 维 数 ， 并 给 出 矩阵 函数 、 特 殊 矩 阵 专门 的 库 草 数 ， 使 之 在 求解 诸如 信号 处 
理 、 建 模 、 系 统 识 齐 、 控 制 、 优 化 等 领域 的 问题 时 ， 显 得 大 为 简捷 、 高 效 、 方 便 ， 这 是 其 
他 高 级 语言 所 不 能 比拟 的 。 在 此 基础 上 ， 高 版 本 的 MATLAB 已 逐步 扩展 到 科学 及 工程 计 
算 的 其 他 领域 。 因 此 ， 不 久 的 将 来 ， 它 一 定 能 名 一 其 实地 成 为 “万 能 演算 纸 式 的 ”科学 算 

7. 方便 的 绘 留 功 能 

MATLAB 的 绘图 是 十 分 方便 的 ， 它 有 -系列 绘图 函 数 〈 命 令 )， 例 如 线性 坐标 、 对 数 
坐标 、 半 对 数 坐 标 及 极 坐 标 ， 均 只 需 调用 不 辣 的 绘图 函数 〈 命 令 )， 在 图 上 标 出 图 题 、z 
轴 标 注 ， 格 〈 栅 ) 绘制 也 只 锋 调 用 相应 的 命令 ， 简 单 易 行 。 另 外 ， 在 调用 绘图 函数 时 调整 
自 变 量 可 绘 出 不 变 阁 色 的 点 、 线 、 复 线 或 多 重 线 。 这 种 为 科学 研究 着 想 的 设计 是 通用 的 编 
程 语 计 所 不 及 的 。 


_MATILAB 6.5 辅助 神经 网 络 分 析 与 设计 


























1.13 MATLAB 6.5 的 新 特点 


2002 年 ，MathWorks 公司 发 布 MATLAB 最 新 6. 版 产品 。MATLAB 6.5 的 特点 在 于 
全 新 的 桌面 及 各 种 不 同 领域 的 集成 十 具 ， 使 用 户 易于 使 用 。 多 种 新 工具 简化 了 一 般 的 工作 
如 资料 输入 、 快 速 分 析 ， 并 创造 高 品质 卫 其 实用 性 的 图 表 分 析 等 。MATLAB 6.5 包含 了 新 
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的 JIT 如 速度 计 ，JIT 加 速度 计 有 力 地 增加 了 MATLAB 中 的 许多 操作 和 数据 类 型 的 计算 速 
度 。 其 他 新 的 特色 和 加 强 包括 以 下 三 个 方面 。 

1 编程 和 数据 类 型 

《1) 增加 了 变量 名 、 函 数 名 和 文件 名 的 最 大 长 度 : 变量 和 名、 函数 名 、 子 函数 名 、 结 
构 域名 、M 文件 名 、MEX 文件 名 和 MDL 文件 名 可 以 达到 63 个 字 节 ; 

(2)》 支持 从 位 的 文件 偏 移 量 ， 能 够 为 大 于 2 GB 的 数据 文件 实现 低层 次 的 LO 场 数 ; 

(3) 支持 有 符 导 和 无 符 导 的 64 位 整数 ， 

(4) 支持 使 用 动态 域名 来 访问 和 修改 结构 数组 ; 

(5) 简化 了 AND 利 OR 逐 辑 运算 ; 

(6) 支持 新 的 MATLAB 定时 器 ， 而 不 是 定时 执行 MATLAB 命令 ; 

(7) 改进 了 音频 支持 ; 

(8) 加 强 了 警告 和 错误 提示 功能 ， 新 支持 格式 化 的 字符 串 和 消息 标识 符 。 

2. 外 部 接 

《1) 改进 了 自动 化 客户 接口 ， 新 的 查看 利 修改 属性 用 户 接口 ， 增 强 了 事件 和 例外 名 

















柄 ; 

(2) 增强 了 网 络 集成 ， 读 URL 的 内 容 ， 在 MATLAB 小 发 送 E-mail， 以 及 解压 缩 文 
件 。 

3 开发 环境 

(1) 新 的 M- 文 件 接 门 ， 能 更 好 地 理解 M- 代 码 ; 

《2) 新 的 启动 按钮 ， 易 于 摧 行 共同 的 命令 ， 

《3》 改进 了 文 舍 和 目录 管理 工具 ; 

(4》 增强 了 数组 编辑 器 ， 与 Excel 之 间 韵 切 、 复 制 、 删 除 和 交换 单元 的 新 功能 ， 支 
持 喝 大 的 数组 

05) 狼 进 了 编辑 和 调试 工具; 

(6) 改进 与 PC 平台 的 控制 接站; 

(7) 支持 新 的 图 形 用 户 接口 ， 从 HPF 或 HDF.EOS 文件 导入 数据 ， 

(8) JVM1.3.1 支持 Windows，Linox 和 Solaris 平台 。 

4， 图 形 

提高 了 图 形 性 能 ， 新 的 彩色 图 形 编 笨 器， 改进 了 图 形 特性 编辑 器 。 

5. 数学 

《1) 新 的 数学 计算 和 算法 改进 ; 

《2) 在 Pentium4 上 更 快 地 计算 许多 函数 ， 比 如 矩阵 乘法 、 和 矩阵 转 置 和 线性 代数 运算 ; 
特别 指出 的 是 ， 许 多 新 特色 并 不 是 适合 于 所 有 的 平台 。 
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1.2 神经 网 络 发 展 史 


大 工 神经 元 网 络 的 研究 已 丰 近 半 个 世纪 的 历史 ， 但 它 的 发 展 并 不 是 一 帆 风 顺 的， 而 是 
经 过 两 起 一 落 中 间 呈 现 马鞍 形 的 过 程 。 下 蜡 以 时 间 的 顺序 和 著名 人 物 或 者 某 方面 的 突出 研 
帘 成 果 为 线索 ， 简 要 地 介绍 其 发 展 史 。 它 的 研究 大 体 上 可 分 为 四 个 阶段 ， 

1. 早期 阶段 

大 工 神经 系统 的 研究 可 以 追溯 到 1800 年 Frued 的 前 精神 分 析 学 时 期 ， 他 已 经 做 了 一 
些 初步 十 作 。1913 年 人 于 神经 系统 的 第 一 个 实践 是 由 Russell 描述 的 水 力 装置 。1943 年 美 
国 心理 学 家 Warmen S McCulloch 与 数学 家 Water H Pitts 合作 ， 用 带 和 的 数学 工具 研究 客观 
事件 在 形式 神经 网 络 中 的 描述 ， 从 此 开创 了 对 神经 网 络 的 理论 研究 。 他 们 在 分 析 、 总 结 神 
经 元 基本 特性 的 基础 上 ， 首 先 提出 了 神经 元 的 数学 模型 ， 简 称 为 MP 模型 。 从 脑 科学 研究 
来 看 ，MP 模型 不 愧 为 第 -个 用 数理 语言 描述 脑 的 信息 处 理 过 程 的 模型 。 后 来 MP 模型 经 
过 数学 家 的 精心 整理 和 抽 银 ， 最 终 发 展 成 “种 有 限 自动 机 理论 ， 青 一 次 展现 了 MP 模型 的 
价值 。 此 模型 沿用 至 今 ， 真 接 影响 着 这 -领域 研究 的 进展 。 

1949 年 心理 学 家 D.O.Hebb 提出 了 关于 神经 网络 学 习 机 更 的 “ 突 触 修正 假设 ”， 即 突 
船 联 系 效率 可 变 的 假设 。Hebb 学 习 规则 开始 是 作为 假设 提出 米 的 ， 其 正确 忻 在 30 年 后 才 
得 到 证 实 ， 现 在 多 数学 习 机 仍 遵循 这 一 规律 。 

1957 年 FRosenblatt 首次 提出 并 设 共 制作 了 著名 的 感知 器 《〈Perceptron)， 第 - -次 从 理 
论 研 究 转 入 工程 实现 阶段 ， 掀 起 了 研究 人 工 神经 元 网 络 的 高 潮 。 

1962 年 Bemard Widrow 和 Marcian Hoff 提出 了 身 适 应 线性 元 件 网 络 ， 篇 称 为 
Adaline(Adaptive linear elemenb。 它 是 一 种 连续 取 值 的 线性 加 权 求 和 阔 值 网 络 ， 它 也 可 以 
看 成 为 感知 器 的 变形 ， 它 实质 上 疙 -个 两 县 前 锁 感 知 机 型 网 络 。 它 成 功 地 应 用 于 自 适应 信 
号 处 理 和 雷达 天 线 控制 等 连续 可 调 过 程 。 

2. 20 世纪 70 年 代 的 过 渡 

进入 20 世纪 70 年 代 后 ， 划 然 神经 网 络 相对 处 于 低 湖 时 期 ， 但 是 仍 有 不 少 科学 家 在 极 
其 困难 的 条 件 下 坚持 不 饮 地 努力 奋斗 ， 主 要 是 提出 了 各 种 不 同 的 网 络 模型 ， 开 展 了 人 工 神 
经 网 络 理论 、 增 加 网 络 的 功能 和 各 种 学 习 算法 的 研究 等 ， 为 今后 研究 神经 网 络 理论 、 数 学 
模型 和 体系 结构 等 方面 打下 了 坚实 的 基础 。 

Stephen Grossberg 是 所 有 研究 人 工 神经 系统 人 员 中 最 有 影响 者 ， 他 周到 、 广泛 地 研究 
了 心理 学 《思维 ) 和 生物 学 〈 脑 ) 的 处 理 ， 以 及 人 类 信息 处 理 的 现象 ， 把 思维 及 脑 紧 密 结 
合 在 一 起 ， 成 为 统一 的 理论 。 

日 本 学 者 Shun jchi Amari 致力 于 神经 网 络 有 关 数 学 理论 的 研究 。 他 的 突出 结果 是 1971 
年 的 对 称 连接 人 工 神经 系统 的 稳定 性 研究 与 1979 年 和 Kishimoto 合作 发 表 的 在 不 对 称 连 
接 人 工 神经 系统 中 回忆 肯 时 模式 序列 的 稳定 性 的 研究 。 在 1982 年 和 1983 年 还 发 表 了 人 工 
神经 系统 中 模式 结构 的 动力 学 。 

1970 年 和 1973 年 ，Kunihiko Fukushima 研究 了 视觉 系统 的 空间 和 时 空 的 人 工 神经 系 
统 模型 ， 以 及 脑 的 空间 和 时 空 的 人 工 神经 系统 模型 。 提出 了 神经 认 知 网 络 理论 。Fukushima 























络 包括 人 工 神经 认 知 和 某 于 人 工 神经 认 知 机 的 有 近 择 注意 力 的 识别 两 个 模型 。 

1971 年 ， 芬 兰 的 Tueyo Kohonen 开始 从 事 随机 连接 变化 表 的 研究 上 作 。 从 1972 年 开 
始 ， 他 很 快 集中 到 联想 记忆 【相关 斤 阵 ) 方面 。 最 近 ，Kohonen 已 经 将 LVQ 应 用 到 语音 
识别 、 模 式 识别 和 图 像 识 别 上 面 。Kohonen 的 工作 已 经 集中 到 联想 记忆 的 : :个 专题 : 系统 
理论 方法 、 相 联 存储 器 〈 内 容 可 对 址 ) 和 自 组 织 及 联想 记忆 。 

1968 年 James Anderson 从 具有 基于 神经 元 完 甬 的 激活 联想 记忆 模型 的 ANS 异型 开始 
工作 。1933 年 和 1977 年 他 反 线 性 联想 记忆 〈LAM) 应 几 到 诸如 识别 、 重 构 和 任意 可 视 模 
式 的 联想 这 样 的 问题 上 。1977 年 ，Anderson，Silvetstein 等 人 在 LAM 工作 七 又 有 了 系 些 
进展, 道 过 有 加 止 水 平反 馈 , 使 用 误 美 修 止 学 习 和 用 斜坡 弛 数 代替 阐 值 多 数 , 建立 起 称 为 BSB 
(Brain-state in-a-box) 的 异形。 在 20 世纪 8 年 代 由 期 ，BSB ANS 已经 被 用 来 解 杰 概念 
形成 、 分 类 和 知识 处 理 。 
1979 年 日 本 NHK 的 福 岛 孝 府 (Fukushima K) 提出 了 认 知 机 模型 ， 后 来 又 提出 了 改 
进 型 认 知 机 (Neocognition》 模型 。 

1979 年 日 本 东京 大 学 的 中 晤 整 提出 了 有 名 的 联想 记忆 民 型 ， 即 所 谓 联 想 机 

(Associatron)， 它 能 实现 从 残余 信息 《模式 ) 伸 完 整 信息 〈 模 式 ) 的 恢复 过 程 。 

3，20 世纪 80 年 代 的 新 高 潮 

神经 网 络 研究 第 一 次 高 潮 到 米 的 标志 和 揭 开 神经 网 络 计算 机 研制 序 籍 的 是 美国 加 州 工 
学 院 欧 理学 家 John Hopfield, 他 十 1982 年 和 1984 年 在 美国 科学 院 院 刊 上 发 表 了 两 篇 文章 ， 
提出 了 模仿 人 脑 的 神经 网 络 模型 ， 即 著名 的 Hopfield 模型 。Hopiield 网 络 是 一 个 互 连 的 非 
线性 动力 学 网 络 ， 它 解决 加 题 的 方法 是 “种 反复 运算 的 动态 过 程 ， 这 是 符号 逻辑 处 理 方法 
所 不 具备 的 性 质 。 

Jerome Feldman 和 Dana Ballard 1980 年 在 Rochester 大 学 是 最 先 从 事 人 工 神经 系统 研 
究 人 员 中 的 商人。 他们 已经 开发 出 许多 不 同 的 人 下 神经 系统 ， 其 早期 工作 在 视觉 方面 ， 此 
外 ， 这 个 组 还 研究 了 白 然 语 言 、 语 义 网 络 、 逻 辑 推理 和 概念 表示 等 ， 还 提出 了 连接 结构 网 
络 模型 ， 并 指出 了 传统 人 下 智 能 计算 与 后 物 计算 的 区 知 ， 以 及 并 行 分 布 式 处 理 的 计算 原则 ， 

Terence Sejinowski 十 1976 年 开始 从 事 人 工 神经 元 系统 方面 的 工作 ， 他 是 少数 研究 人 
员 中 具有 强 数学 和 生物 背景 的 一 位 研究 人 员 。 他 的 第 一 项 工作 集中 在 寻找 对 于 协 方 芷 学 习 
规则 的 神经 逻辑 学 上 的 证 明 。1984 年 和 1985 年 他 与 Hinton，Ackley 用 统计 物理 学 的 概念 
和 方法 研究 神经 网 络 ， 提 出 了 Boltzmann 〈 玻 尔 效 曼 ) 机 。 

MeClelland 和 Rumelhart 是 认 知 心理 学 家 。 他 们 最 初 感 兴趣 的 苹 : 用 人 工 神经 系统 异 
型 去 帮助 理解 思维 的 心理 学 功能 。1981 年 和 1982 千 经 过 他 们 的 共同 努力 ， 设 计 了 交互 激 
活 模 甫 的 第 “个 ANS 变化 表 ， 它 被 历来 解释 训 的 识别 ， 后 来 ， 推 广 到 其 他 的 ANS 结构 ， 
并 用 于 并 行 分 布 式 处 理 〈Parallel Distributed Processing，PDP) 来 描述 他 们 的 工作 ， 引 起 
了 许多 其 他 研究 人 员 的 兴趣 。1986 年 他 们 提出 了 多 层 网 络 的 误差 反 传 算法 〈Back 
Propagation， 简 称 为 BP 算法 )。 

4.，20 世纪 80 年 代 后 期 义 来 的 热潮 

1987 秆 6 月 24 4 在 凑 国 兰 地 亚 哥 召 开 了 第 一 届 辣 际 神经 网 络 学 术 会 议 ， 宣 告 了 国际 
神经 网 络 协会 正式 成 立 ， 与 会 首 1600 多 人 ， 会 上 不 但 宣告 了 神经 网 络 计算 机 学 科 的 诞生 ， 
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而 且 还 展示 了 有 关公 司 、 大 学 所 开发 的 神经 网络 计算 机 方面 的 产品 和 芯片 ， 折 起 了 人 类 向 
生物 学 习 、 研 究 和 开发 及 应 用 神经 网 络 的 新 热潮 。 在 这 之 后 ， 每 年 都 要 召开 神经 网 络 和 神 
经 计算 机 的 国际 性 和 地 区 性 会 议 ， 促 进 神经 网 络 的 研制 、 开 发 和 应 用 。 
1991 年 JCNN 〈 国 际 联合 神经 网 络 会 议 》 会 议 主席 D.Rumelhart 在 开幕 词 中 讲 到 “ 神 
经 网 络 的 发 展 已 进入 转折 点 ， 它 的 范围 正在 不 断 扩 大 ， 领 域 儿 乎 包括 各 个 方面 ”JINNS ( 国 
际 神经 网 络 学 会 ) 主席 PWerbos 指出 : 过 去 几 年 至 过 去 几 个 月 ， 神 经 网 络 的 应 用 使 工业 
技术 发 生 了 很 大 变化 ， 特 别 是 在 控制 领域 有 突破 性 进展 。 
这 段 时 期 以 来 ， 神 经 网 络 理论 的 应 用 取得 了 令 人 也 日 的 进展 ， 特 别 是 在 人 工 智 能 、 自 
动 控制 、 计 算 机 科学 、 信 息 处 理 、 机 器 天、 模式 识别 、CADVCAM 等 方面 都 有 重大 的 应 用 
实例 。 下 面 列 出 -一 些 主要 的 应 用 领域 : 
和 @ ”模式 识别 和 图 像 处 理 ”印刷 体 和 手写 体 字符 识别 、 语 音 识别 、 签 字 识别 、 指 纹 识 
别 、 人 脸 识别 、 人 体 病理 分 析 、 目 标 检 测 与 识别 、 图 像 压 缩 和 图 像 复原 等 。 
@ 控制 和 优化 ”化 工 过 程控 制 、 机 器 人 运动 控制 、 家 电 控制 、 半 导体 生产 中 摊 杂 控 
制 、 石 油 精炼 优化 控制 和 超大 规模 集成 电路 布线 设计 等 。 
@ 预报 和 智能 信息 管理 ”股票 市 场 预测 、 地 震 预 报 、 有 价 证 券 管 理 、 借 赁 风险 分 析 、 
IC 卡 管理 和 交通 管理 。 
@@ ”通信 ， 自 适应 均 衡 、 回 波 抵 消 、 路 由 选择 和 ATM 网 络 中 的 呼叫 接纳 识别 及 控制 
@ 。 字 间 科学 “空间 交会 对 接 控制 、 导 航 信息 管理 智能 管理 、 飞 行 器 制导 和 飞行 程序 
优化 管理 等 。 
神经 网 络 与 专家 系统 相 结合 已 成 为 重要 的 发 展 趋势 ， 这 两 者 的 结合 能 更 好 地 发 挥 出 各 
自 的 专长 。1990 年 4 月 IJBM 公司 推出 AS400 工作 站 ， 其 中 就 提供 了 一 个 自由 的 神经 网 络 
仿真 开发 环境 。1991 年 5 月 SGI 公司 宣布 今后 它 的 所 有 机 器 都 提供 Accurate Automation 
软件 开发 环境 , 目前 该 公司 已 利用 这 一 -环境 进行 航天 飞机 控制 辟 的 神经 网 络 控制 设计 ， 1992 
年 二 半年 进行 实际 飞行 试验 。 此 外 ， 新 的 软件 包 、 加 速 扳 、 新 的 芯片 和 新 方法 不 断 深入 研 
究 ， 使 ANN 应 用 在 速度 和 人 存 储 能 力 方面 得 到 改进 。 
目前 各 国 发 展 的 重点 是 以 应 用 为 导向 ， 以 发 展 更 高 性 能 的 混合 计算 机 为 目标 。 这 些 计 
划 是 以 长 远 发 展 目标 与 近期 效果 相 结合 的 ， 充 分 考虑 到 了 与 当前 发 展 技术 水 平 相 适应 。 
存 最 近 儿 年 里 ， 我 国 在 人 工 神经 元 网 络 的 研究 方面 发 展 规模 大 、 速 度 快 ， 而 且 取 得 了 
不 少 成 果 。1988 年 由 北京 大 学 组 织 召开 了 第 一 次 关于 神经 网 络 的 讨论 会 ，. - 些 国际 知名 
学 者 在 会 上 做 了 专题 报告 。1989 年 和 1990 年 ， 不 同学 会 和 研究 单位 召开 过 专题 讨论 会 。 
在 1990 年 12 月 由 8 个 单位 联合 发 起 和 组 织 了 中 国 第 一 次 神经 网 络 会 议 ，IEBE 神经 网 络 
委员 会 副 主席 在 会 上 做 了 神经 网 络 主要 动向 的 演说 。1991 年 由 13 个 单位 发 起 和 组 织 召开 
了 第 一 次 中 国 神经 网 络 会 议 。1992 年 中 国 神经 网 络 委员 会 在 北京 承办 了 世界 性 的 国际 社 
经 网 络 学 术 大 会 ， 这 居 大 会 受到 IEEE 神经 网 络 委员 会 、 国 际 神经 网 络 学 会 等 国际 学 术 丝 
织 的 大 力 支 持 。 这 标志 着 我 国 神经 网 络 的 研究 工作 者 第 - -次 大 规模 地 走向 世界 ， 这 必 将 会 
进 -- 步 推动 我 国 的 神经 网 络 研究 。 
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1.3 神经 网 络 模型 


神经 网 络 的 基本 单元 是 神经 元 ， 它 是 由 大 量 的 神经 元 广泛 下 连 而 成 的 网络 ， 所 以 我 们 
先 从 神经 元 谈 起 。 


1.3.1 “生物 神经 元 模型 


经 元 是 脑 组 织 的 基本 单元 ， 其 结构 如 图 1-1 所 示 ， 神 经 元 由 二 部 分 构成 : 细胞 体 、 
树 突 和 轴 罕 : 千 部 分 虽 具 有 各 入 的 功能 ， 但 相 志 之 间 是 互补 的 。 

树 突 是 细胞 的 输入 端 ， 通 过 细胞 体 间 连 接 的 节点 “ 突 触 ”接收 四 局 细胞 传 出 的 神经 间 
动 ， 轴 突 相 当 于 细胞 的 输出 端 ， 其 端 部 的 众多 神经 本 悄 为 信号 的 输出 端子 ， 用 于 传 出 神经 
溃 动 。 
神经 元 具有 兴奋 和 抑制 的 两 种 工作 状态 。 池 传 入 的 神经 冲动 ， 使 细胞 膜 电位 升 禹 到 阅 
值 ( 约 为 40mV) 时 ， 细 胞 进入 兴奋 状态 ， 产 后 神经 冲动 ， 山 轴 突 和 输出。 相反 ， 着 传 入 的 
神经 冲动 使 细胞 膜 电位 十 降 到 低 于 阔 值 时 ， 细 胞 进入 抑制 状态 ， 没 有 神经 冲动 输出 。 


人 








图 1-1 神经 元 结构 


1.3.2 ”神经 元 模型 


连接 机 制 结构 的 基本 处 埋单 元 与 神经 后 理学 类 比 往往 称 为 神经 元 ， 每 个 构造 起 网 络 的 
神经 元 模型 模拟 “个 生物 神经 元 。 人 工 神经 元 是 对 牛 物 神经 元 的 简化 和 模拟 ， 它 是 神经 网 
络 的 基本 处 理 单元 。 图 1-2 给 出 了 一 种 简化 的 神经 元 结构 。 它 是 “个 多 输入 、 单 输出 的 非 
线性 元 件 ， 其 输入 输出 关系 可 描述 为 ， 





五 =wx -6 
E] 


交 = OOD) 





其 中 如 (7 =12…, 问 大 从 其 他 细胞 传 来 的 输入 信号 ，8, 为 神经 元 单元 的 偏 署 ( 阔 估 )， 
yi 表示 从 细胞 了 到 细胞 ;的 连接 权 值 《对 于 激发 状态 ，wv 取 正 值 ， 对 于 抽 制 状态 ， 


到 负 值 ， 于 为 输入 信和 号 数 昌 。 芒 为 神经 元 输出 ，: 为 时 间 ， .F(.) 称 为 传递 函数 ， 有 时 叫做 


激发 或 激励 函数 ， 往 往 采用 0 和 上 二 值 两 数 或 S 型 函数 ， 见 图 1.2， 这 -种 函数 都 是 连续 
和 非 线性 的 。 





一 了 


疼 1-2 神经 元 结构 模型 
传递 鸭 数 订 为 线性 函数 ， 但 通常 为 像 阶 跃 函 数 或 8 状 曲线 那样 的 非 线性 函数 。 常 用 的 
神经 元 非 线性 衣 数列 举 如 下 : 
(1) 阔 值 型 力 数 ” 当 交 了 到 0 或 上 时 ， 了 (9 为 阶 路 函 数 : 


XZ>0 


1 
ro X<0 
(2) 8$ 状 曲线 ”通常 是 在 (0，1) 或 〈 一 1，1) 内 连续 取 值 的 单调 可 微分 的 函数 ， 
常用 指数 或 正切 等 一 类 3 状 昌 线 来 表示 ， 如 ; 


70=iFESOC (8>0) 


或 (zx)=tanh(z) 
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当 趋 于 无 穷 时 ，S 状 曲 线 趋 近 于 阶 跃 函数 ， 通 常情 况 下 有 取 值 为 1。 
有 时 在 网 络 中 还 采用 下 刻 计 算 简 单 的 非 线性 男 数 ; 


上 


在 RBF(Radial Basis Functiomn) 构 成 的 神经 网 络 中 ， 神 经 元 的 结构 可 用 高 斯 函数 撒 述 如 








卜 : 
y = exp| 一 1 > 一 WwW 
， P 253 全 四 
这 里 :为 标准 化 参数 。 
有 时 为 方便 起 见 ， 常 把 -8; 也 看 做 是 对 应 恒 等 于 1 的 输入 量 ao 的 权 值 ， 这 时 式 中 的 
和 式 可 记 为 ， 
大 = 交 wii 
记 
其 中 wo =-0xo=1 


1.3.3 ”神经 网 络 模型 


神经 网 络 是 由 大 量 的 神经 元 广泛 互 连 而 成 的 网 络 。 根 据 连 接 方式 的 不 同 ， 神 经 效 络 可 
分 成 两 大 类 ， 没 有 反馈 的 前 向 网 络 和 相互 结合 性 网 络 。 前 向 网 络 庄 输 入 层 、 中 间 层 《或 叫 
隐 层 》 和 输出 层 组 成 ， 中 间 层 可 有 若干 层 ， 每 一 层 的 神经 元 只 接受 前 一 层 神经 元 的 输出 ， 
而 相互 连接 型 网 络 中 任意 两 个 神经 元 间 都 有 可 能 连接 ， 因 此 输入 信号 要 在 神经 元 之 间 反 介 
往返 传递， 从 某 一 . 审 态 十 始 ， 经 过 苦 十 次 的 变化 ， 渐 渐 趋 于 某 -稳定 状态 或 进入 同期 振 沪 
等 其 他 状态 。 

目前 虽然 已 有 数 十 种 的 神经 网 络 模 于 但 已 有 的 神经 网 络 可 分 成 荆 大 类 ， 即 前 阅 网 络 
Ceeaforward NINS)、 反 馈 网 络 (Feedback NNs) 和 自 组 织 网 络 (Self-organizing NINS)* 
十 而 将 分 别 介绍 这 三 类 网 络 中 有 代表 性 的 网 络 。 


14 “人 工 神经 网 络 的 特 


人 工 神经 网 络 具有 如 下 特性 。 
1 ， 并 行 分 布 处 理 
神经 网 络 具有 高 度 的 并 行 结构 和 并 行 实 坝 能 力 ， 因而 能 够 有 绞 好 的 耐 故障 能 力 和 较 锯 
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的 总 体 处 理 能 力 。 这 特别 适用 于 实时 控制 和 动态 控制 。 

2 . 非 线性 映射 

神经 网 络 具有 轩 有 的 非 线性 特性 ， 这 源 于 其 近似 任意 非 线性 映 《变换 ) 能 力 。 这 一 特 
性 给 非 线 竹 控制 问题 瞬 来 新 的 希望 。 

3， 通 过 训练 进行 学 习 

神经 网 络 是 通过 研究 系统 过 去 的 数据 记录 进行 训练 的 。 一 个 经 过 适当 训练 的 神经 网 
络 具有 归纳 全 部 数据 的 能 力 。 因 此 ， 神 经 网 络 能 够 解决 那些 由 数学 模型 或 描述 规则 难以 处 
理 的 控制 过 程 问题 。 

4， 适 应 与 集成 

神经 网 络 能 够 适应 在 线 运行 ， 并 能 问 时 进行 定量 和 定性 操作 。 神 经 网 络 的 强 适应 和 
息 熔 合 能 力 使 得 网 络 过 程 可 以 问 时 输入 大 量 不 同 的 控制 信 叶 ， 解 决 输入 信息 间 的 互补 和 
余 问题 ， 并 实现 信息 集成 和 融合 处 理 。 这 些 特性 特别 适 于 复杂 、 大 规模 和 多 变量 系统 的 
制 。 

5、 硬 件 实现 

神经 网 络 不 仅 能 够 通过 软件 而 且 可 借助 软件 实现 并 行 处 理 。 所 年 来 ， 一 些 超大 规模 集 
成 电路 实现 硬件 忆 经 问世 ， 而 且 可 从 市 场 上 购 到 。 这 使 得 神经 网 络 具 有 快速 和 大 规模 处 理 
能 力 的 实现 网 络 。 
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第 2 章 神经 网 络 工具 箱 函 数 及 实例 


现 在 ， 使 用 神经 网 络 能 解决 许多 以 前 用 传统 方法 无 法 解决 的 问题 。 神 经 网 络 存 很 多 领 
域 小 都 有 应 用 ， 以 实现 各 种 复杂 的 功能 。 这 些 领域 包括 商业 及 经 济 估 筑 、 白 动 检测 和 监视 、 
计算 机 视觉 、 语 音 处 理 、 机 器 人 及 日 动 控 制 、 优 化 问题 、 航 空 航 大 、 银 行 金 融 业 、 上 业 生 
产 等 。 而 神经 网 络 是 一 门 发 展 很 快 的 学 科 ， 其 应 用 领域 也 会 随 着 其 发 展 有 更 大 的 拓宽 。 本 
章 将 讨论 - 些 神经 网 络 应 用 的 实例 。 

使 用 神经 网 络 的 主要 优点 古 能 够 自 适 应 样本 数据 ， 当 数据 中 在 喉 卢 、 形 变 香 非 线性 时 
它 也 能 够 正常 地 工作 ;很 容易 继承 现 有 的 领域 知识 :使 用 只 活 ， 能 够 处 理 来 自 多 个 资源 和 
决策 系统 的 数据 ， 提 供 简单 工具 进行 自动 特征 逃 取 ， 产 生 有 用 的 数据 表示 ， 可 作为 专家 系 
统 的 前 端 〈 预 处 理 器 )。 此 外 ， 神 经 网 络 还 能 提供 十 分 快 的 优化 过 程 ， 尤 其 以 使 件 吉 接 实 
现 网 络 时 ， 而 且 可 以 加 速 联机 应 用 程序 的 运行 速度 。 当 然 ， 过 分 夸大 神经 网 络 的 应 用 能 ; 
也 是 不 恰当 的 ， 毕 竞 它 不 是 无 所 不 能 的 。 这 就 需要 在 实际 工作 中 基体 分 析 问题 ， 合 弄 选 择 ， 

在 MATLAB 6.5 神经 网 络 工具 箱 中 提供 了 让 富 的 演示 实例 。 本 章 的 部 分 实例 就 米 源 于 
其 中 , 并 对 其 进行 了 更 多 的 讨论 和 推广 , 有 兴趣 的 读者 可 以 在 MATLAB 命令 行 中 输入 help 
nndemo， 以 得 到 神经 网 络 的 演示 或 者 应 用 列表 。 

本 章 主要 内 容 包 括 

鲁 ”神经 网 络 工具 箱 概 述 
感知 器 的 神经 网 络 工具 也 数 
BP 网 络 的 贺 经 网 络 工具 函数 
线性 网 络 的 神经 网 络 工具 函数 
自 组 织 竞争 网 络 工具 箱 函 数 
径 向 基 网 络 神经 网 络 工具 箱 函 数 
回归 网 络 的 神经 网 络 工具 箱 函 数 


2.1 神经 网 络 工具 箱 概述 


随 着 MATLAB 软件 的 版 本 提高 ， 其 对 应 的 神经 网 络 工具 箱 的 版 本 也 在 相应 地 活 商 。 
MATLAB 6.5 对 应 的 神经 网 络 上 具 箱 为 NN Toolbox 4.0.2 版 〈 以 后 简称 神经 网 络 工具 
箱 )， 其 内 容 非 常 丰 富 ， 包 括 了 很 多 现 有 的 神经 网 络 的 新 成 果 ， 涉 及 的 网 络 模型 有 
感知 器 模型 
线性 滤波 器 
BP 网 络 
控制 系统 网 络 模型 
径 向 基 网 络 
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时 自 组 织 网 络 

四。 反馈 网 络 

四。 自 适 应 滤波 和 自 适 应 训练 

神经 网 络 工具 箱 提供 了 很 多 经 典 的 学 习 算法 ， 使 用 它 能 够 快速 地 实现 对 实际 问题 的 建 
模 求 艇 。 由 于 其 编程 简单 ， 这 样 就 给 使 用 者 节省 了 大 量 的 编程 时 间 ， 使 其 能 够 把 更 多 的 精 
力 投 入 到 网 络 设计 而 不 是 具体 程序 实现 上 。 


2.2 ”感知 器 的 神经 网 络 工具 函数 


MATLAB 提供 了 大 量 的 感知 器 工具 函数 ， 本 节 将 对 这 些 函 数 的 功能 、 调 用 格式 ， 以 
及 使 用 方法 做 详细 的 介绍 。 


2.2.1 MAILAB 6.5 中 有 关 感知 器 的 于 具 函 数 


MATLAB 6.5 提供 了 许多 进行 神经 网 络 设 计 和 分 析 的 工具 函数 ， 这 给 用 户 带 来 了 极 大 
的 方便 。 有 关 这 些 工具 范 数 的 使 用 可 以 通过 help 命令 得 到 。 表 2-1 列 出 了 MAILAB 6.5 
中 与 感知 器 相关 的 神 络 网 络 重要 工具 函数 。 








表 2-! 感知 器 网 络 的 重要 函数 和 功能 

































































枉 娄 名称 玫 功 能 ，- 
pewp 生成 一 仿 感 知 器 神经 网 络 
hardiim 酸 限 幅 传 递 艇 数 
bardtims 对 称 矣 根 幅 传递 艺 数 
dotprod 权 什 点 积 秀 数 
etatn 网 络 输入 求 和 函数 
initlay 革 层 的 初始 化 隔 数 
initwh 某 层 的 权 值 和 交 俩 的 林 始 化 函数 
inizero 零 权 值 浆 值 急 始 化 前 数 
init -个 词 络 的 初始 化 阔 数 
imae 求 平均 绝对 误差 性 能 函数 
earnp 感知 器 的 学 习 函 数 
jeampn 标准 感知 器 的 学 习 函 数 
adaptwb 网 络 的 权 值 岗 值 的 自 适 应 数 
daptwb 神经 网 络 的 有 适应 
rainwb 岗 络 的 权 值 和 讽 值 训练 范 数 
rain 神经 网 络 训练 函数 
Sim 神经 而 络 仿真 函数 了 
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2.2.2 工具 国 数 详解 


数 、 


工具 函数 主要 包括 神经 网 络 函 数 、 权 值 函 数 、 网 络 的 答 入 冰 数 、 传 递 函 数 、 初 始 化 函 
性 能 琢 数 、 学 习 函 数 、 自 适应 函数 ， 以 及 训练 困 数 等 。 

1. 神经 网 络 孙 效 

(] ) newp 

功能 生成 :个 感知 器 神经 网 络 。 

格式 net=newp(pr，s，t{f， 斩 。 

说 明 ”感知 器 适用 十 解决 简单 的 《 即 线性 可 分 的 ) 分 类 问题 。newp 的 输入 参数 为 : 

@ pr 尺 个 输入 名 量 的 最 大 值 和 最 小 值 的 取 值 范围 

@@ s 神经 元 的 个 数 

@ 匡 网 络 的 传递 函数 ， 默 认 值 为 hardlim 

@@ TI 网 络 的 学 习 函 数 ， 默 沁 值 为 leamp 

该 哆 数 执行 之 后 返回 一 个 新 的 感知 器 网 络 。 传 递 函数 纪 可 以 选取 hardlim 或 hardlims 


抑 数 。 学 习 函 数 二 可 以 选取 learnp 或 leampn 通 数 。 可 以 调用 不 带 参 数 的 newp 函数 在 一 
个 对 话 框 中 定义 网 络 的 属性 。 


参见 sim，init，adapt，train，hardliim，hardlims，!earnp，!earnpn。 

(2)》 sim 

功能 网 络 仿真 。 

格式 【Y，Pf，A 引 -simnet，P， 下 ，Ai) 
fY，Pf，Afl=simnet，{Q TS1，Pi，Ai 
[Y，Pf，Afl-simtnet，Q，P，Ai) 

说 明 sim 可 仿真 -- 个 神经 网 络 。sim 的 参数 为 

@。 net 神经 网 络 

@ 了 网 络 的 输入 

@ Bi 初始 输入 延迟 ， 默认 信 为 0 

@ Ai 初始 的 层 延 迟 ， 默 认 值 为 0 

且 该 函数 返 同 ; 

@ 了 网 络 的 输出 

“PEf 最 终 答 出 延迟 

@ _ Af 最 终 的 层 延 迟 





训 疝 癌 PE 邮 是 林 仔 过 的 ， 并 且 对 于 具有 输入 延 退 或 层 的 延 表 的 
网 络 是 必须 使 用 的 。 





参见 sldebug，simset。 
《3)》 init 
功能 初始 化 神经 网 络 。 
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关 -和 


格式 net=initneb。 

说 明 使 用 initneb 函 数 可 以 得 到 -个 神经 网 络 net， 该 网 络 的 权 值 和 阅 值 是 按照 网 络 
初始 化 函数 来 进行 修正 的 。 而 网 络 的 初始 化 场 数 是 由 NETinitFcn 设 定 的 ， 其 参数 是 由 
NETinitParam 玉 定 的 。 

参见 initlay，initnw，initwb。 

(4》adaptwb 

功能 神经 网 络 的 自 适应 。 

格式 [net，Y，E，Pf，Afj=adapt(NET，P，T，Pi，Ai)。 

说 明 函数 adaptwb 的 各 个 参数 的 含义 为 : 

@@ NET -个 神经 网 络 

昌 P 网 络 的 输入 

和 Pi 初始 输入 延迟 ， 默 认 值 为 0 

@ Ai 初始 的 居 矮 迟 ， 默 认 值 为 0 

且 返 回 - .个 具有 适应 功能 NETadaptFcn 及 适应 参数 NET.adaptparam 的 结果 : 








@ net 修 赴 后 的 网 络 
@@ 站 网 络 的 输出 
晶 E 网 络 的 误差 
@。 Pf 最 终 输 出 延迟 
量 Af 最 终 的 层 延迟 





表 堵 工 区 村 需要 目标 的 网 络 是 必需 的 ， 而 且 是 可 任 选 的 ,Pi 及 Pf 仅 用 
于 具有 输入 或 技 间 的 延迟 的 网 络 ， 而 且 也 是 可 任 闷 的 - 





参见 sim，init，train。 

《5) train 

功能 神经 网 络 的 训练 函数 。 

格式 [net，b]=train(NET，P，T，Pi，Ai) 

[pet，tr]=train(NET，P，T，Pi，Ai，VYV， TV) 

说 明 train 函数 是 按照 NETtrainFcn 和 NETtrainParam 训练 网 络 NET 的 。Train 函数 
各 个 参数 的 含义 为 : 

@ NET 神经 网 络 

@@ P 网 络 的 输入 

@@ T 网 络 的 日 标 ， 默 认 值 为 0 

@ Pi 初始 输入 延迟 ， 默 认 值 为 0 

@ Ai 初始 的 层 延迟 ， 默 认 值 为 0 

返回 : 
晶 net 修正 后 的 网 络 
@ fr 训练 的 记录 《训练 步 数 和 性 能 epoch and perf) 





















FENG 
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参数 T 仅 对 需要 目标 的 网 络 是 必需 的 ， 而 且 是 可 任 选 的 ，Pi 及 Pf 仅 用 
_ 于 县 有 输入 或 虽 间 的 延迟 的 网 络 ， 而 且 也 是 可 任 选 的 。 
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2. 权 值 冰 数 
dotprod 


格式 Z=dotprodaC(W，P) 


说 昌 


df=dotprodfdqeriv) 
dotprod 是 -- 个 点 积 权 值 的 函 数 ， 权 俩 与 输入 的 点 积 可 得 到 加 权 输 入 。dotprod 


函数 的 输入 参数 为 : 


更 SxR 维 的 权利 定 阵 
P Q 组 录 维 输入 向 量 





返回 Q 组 S 维 的 到 与 P 的 点 丙 。 








参见 ddotprod，dist，negdist，normprod 
3. 网 络 的 输入 台数 


Detsi 


功 旬 


um 


神经 网 络 的 箱 入 求 利明 数 。 


格式 N=netsumm(Z1，Z2，…) 


df=netsumlderiv) 


说 明 netsum 是 一 个 祝 经 网 络 的 输入 求 和 函数 。 该 郊 数 的 功能 时 间 某 - - 层 的 加 权 输 入 





和 阔 值 
是 QQ 组 


厅 作 为 该 层 网 络 的 输入 。 其 中 netsum(Z]，Z2，…) 可 以 取 任意 数 日 的 输入 ， 厂 
S 维 的 矩阵 ， 并 且 返 回 对 Zi 按 元 素 求 和 的 结果 N。netsumlderiv) 函 数 返 问 netsum 














参见 _dnetsum，netprod，concur。 
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(17 


hardlim 


功能 “ 硬 限 幅 传递 函数 。 
格式 a=bardlim(ON) 


info=hardlim(code) 


说 明 hardlim 是 -个 传递 两 数 ， 它 通过 计算 网 络 的 输入 得 到 该 层 的 输出 。 如 果 网 络 
输入 达到 们 限 ， 则 硬 限 幅 传 递 函数 输出 为 1， 后 则 输出 为 0。 这 表明 神经 网 络 可 用 于 剂 断 


和 分 类 。 


Hardlim 丽 数 各 参数 的 合 义 为 ， 


人 Q 组 $ 维 的 网 络 答 入 向 熏 ， 并 返回 该 层 的 输出 矩阵 向量 。 当 N 大 本 0 时 ， 返 
回 指 元 素 是 1; 当 N 小 壬 0 时， 返回 的 元 素 起 0 
Hardlimtcode) 号 hardlim(N) 不 同 的 是 根据 不 同 代码 code 返回 有 用 的 倩 息 : 


derniv 导数 函数 名 
mame' 传递 函数 的 合 称 
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@ output 。 传递 函数 的 输出 范围 

@@ 'activ 传递 函数 的 输入 范围 

参见 sim，hardlims。 

《2) hardtims 

功能 “对称 的 硬 限 幅 传递 郴 数 。 

格式 a=hardlimsG) 

info=hardlims(code) 

说 明 hardlims 是 - -个 传递 函数 ， 它 通过 计算 网 络 的 输入 得 到 访 层 的 答 出。 如 果 网 络 
输入 达到 门限 ， 硕 限 幅 传递 函数 输出 为 1， 和 否则 和 输出 为 一 1。 这 表明 神经 网 络 可 用 二 判断 
和 分 类 。Hardlim 函数 各 参数 的 含义 为 : 

@ N N-Q 组 S 维 的 网 络 输入 向 量 系 阵 ， 并 返回 该 层 的 输出 矩阵 前 量 。 当 愉 人 于 0， 

返回 的 元 素 是 1; 当 N 小 于 0 时 ， 返 癌 的 元 素 是 一 1 

参见 hardlim。 

5. 初始 化 廊 数 

《1)》 initlay 

功能 神经 网 络 某 - - 层 的 初始 化 函数 ， 

格式 net=initiay(NET) 

info=initlay(code) 

说 了 明 initiay 是 一 个 网 络 的 初始 化 函 数 ， 它 是 根据 NETlayers{IT] initFcn 设置 的 初始 
化 函数 对 第 工 层 的 权 进 行 初始 化 的 。Initiay 函数 各 参数 的 含义 为 : 

@ NET 是 - -个 神经 网 络 

@ Net 该 函数 返回 一 个 第 ! 层 更 新 了 的 网 络 

@ Initlay(code) 函数 可 按照 code 指定 的 代码 返回 一 些 有 用 的 信息 ， 其 中 code 可 取 

为 : 

> 。'pnames， 初始 化 参数 的 名 称 

> pdefaults，。 默认 的 初始 化 参数 

> initay ”函数 没有 任何 初始 化 参数 

参见 initwb，inimw，init。 

《2) initwb 

功能 “神经 网 络 的 某 一 层 的 权 值 和 阔 值 的 初始 化 函数 。 

格式 ”net=inirwb(neLi。 

说 明 initwb 函数 可 以 按照 其 特定 的 初始 化 函数 对 网 络 的 某 一 层 的 权 值 和 冰 值 进行 初 
始 化 。 

Initay(net 的 输入 中 net 代表 的 是 一 个 神经 网 络 ，i 表示 网 络 的 第 i 层 ， 该 函数 返回 -一 
个 第 守 层 的 权 值 和 闭 值 都 更 新 了 的 网 络 。 

参见 initmw，initiay，init。 

(3)》 initzero 


功能 “将 权 值 设置 为 零 的 初始 化 函数 。 
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格式 W=initzero(S，RRJ) 
b=initzero($，[L 1]》 
说 明 initzero(S，RR) 函 数 古 将 权 值 设 置 为 零 的 初始 化 函数 ， 其 中 包含 神经 元 个 数 $， 
即 输 入 向 量 的 范 轴 RR。 该 国 数 返 问 - 个 堆 权 值 息 阵 。 
initzero(S,|l 1 函数 是 将 阅 值 设置 为 零 的 初始 化 浮 数 ， 它 能 返回 一 个 为 0 阅 值 问 最。 
参见 initwb，init，inittay。 
6. 性 能 函数 
tnae 
功能 “平均 绝对 误差 性 能 函数 
格式 “perf=maefe，x，Ppp) 
perf=mae(e，net，pp) 
info=mae(code) 
说 明 mae 是 - -个 求 网 络 的 性 能 参数 的 困 数 。mae(e，x，pp) 数 可 采用 1 一 3 个 参数 : 
@@ e 误差 向 量 矩阵 或 向 量 
鳃 xx 所 有 的 权 值 和 阔 值 向 量 〈 可 忽 赂 ) 
和 pp 性 能 参数 (可 忽略 》 
该 少数 执行 后 可 返 癌 平 均 绝对 误 养 。 误 差 e 本 以 是 元 素 组 或 矩阵 。 
参见 “mse，mseteg，dmae。 
7， 学 习 表 数 
{1) learnp 
功能 “感知 器 的 权 值 / 闹 值 学 习 函 数 。 
格式 IdW，LS]-leamp(W，P，Z，N，A，T，g，gW，8gA，D，LP，LS) 
[db，LSj=leamptb，ones(1，Q，Z，N，A，T，E，gW，gA， 了 P， LP，LS) 
info=tearnp(code) 
说 明 iearmp 函数 是 感知 器 的 权 值 / 闭 但 学 习 冰 数 ， 其 各 个 参数 会 义 刀 下 : 
@ 。 W SxR 维 的 权 值 称 阵 《或 SX1 维 的 疯 什 向 知 ? 
P Q 组 R 维 的 输入 向 量 〈 或 Q 组 单个 输入 ) 
Z Q 组 S 维 的 权 俩 输入 向 绰 
N Q 组 S 维 的 网 络 输 入 向 蔓 
A 
工 
卫 


Q 组 S 维 的 输出 向 基 
Q 组 S 维 的 目标 向 量 
Q 组 $ 维 的 误差 向 量 
sgW SXR 维 的 性 能 参数 的 梯度 
gA @Q 组 S 维 的 柱 能 参数 的 输出 梯度 
LP 学习 参数 ， 若 没有 学 习 参 数 ， 则 LP=[] 
LS 学习 状 态 ， 初 始 值 为 [1 
该 函 数 可 返回 以 上 参数 : 
@。 dW SxR 维 的 权 值 (或 冰 值 ) 变 化 阵 。 





3 
@ LS 新 的 学 习 状态 。 
鲁 。Learmp(code)j 对 于 每 一 个 code 代码 返回 相应 的 有 用 的 信息 ; 
> "pnames' 返回 学 习 参 数 的 名 称 
> 。 pdefanlts， 返回 默认 的 学 习 参 数 
> "eedg' 如 果 该 函数 使 用 gW 或 gA， 则 返回 值 为 1 
参见 learnpn，newp，adaprwb。 
〈2) leampn 
功能 “标准 化 感知 器 的 权 值 / 闪 值 学 习 函 数 。 
格式 [dW，LS]=leampn(W，P，Z，N，A，T，E，gW，gA，D，LP，LS) 
info=learnpn(code) 
说 明 learnpn 函数 是 标准 化 感知 器 的 权 值 / 阔 值 学 习 函 数 。 当 输入 样本 中 具有 奇异 的 
向 量 时 ， 该 学 习 函 数 能 够 产生 较 快 的 学 习 速度 。 其 各 个 参数 含义 同 learmp。 
参见 leamp。 
8. 自 适应 函数 
adaptwb 
功能 “网络 的 权 值 和 阀 值 的 自 适 应 函数 。 
格式 [net，Ac，E]=adaptwb(NET，Pd，T，Ai，Q，TS) 
info=adaptwbtcode) 
说 明 adaptwb 函数 是 一 个 网 络 的 白 适 应 函数 ， 该 函数 可 以 根据 取 学 习 函 数 来 更 新 网 
络 的 权 值 和 阔 值 。adaptwb 函数 的 参数 为 : 
和 NET 神经 网 络 
Pd 延迟 输入 
T 每 一 层 的 日 标 向 量 
Ai 初始 输入 条 件 
Q_ 输入 向 量 的 个 数 
TS ”时间 步 长 
网 络 的 训练 结束 后 ， 有 具有 忆 值 和 阔 值 的 学 习 玉 数 的 网 络 返 
鳃 ”net 更 新 后 的 网 络 
@@ Ac 冲 的 居 输 出 
时 E 该 层 的 误 羌 
adaptwb(code) 返 回 每 一 个 code 字符 串 代 表 的 有 用 信息 ; 
@。 pname' 训练 参数 的 名 称 
@@。pdefaults' 默认 的 训练 参数 
参见 newp，newlin，train。 
9. 训练 函数 
trainwhb 
功能 “网 络 的 权 人 和 阔 值 的 训练 函数 。 
格式 [net，tr]=trainwb(NET，Pd，T，Ai，Q，TS，VV) 
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下 列 参 数 : 
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jnfo=trainwbf(code) 
说 明 trainwb 函数 是 一 个 网络 训 练 力 数 ， 该 函 数 根据 其 学 习 函 数 更 新 权 值 和 竟 值 。 
trainwb 葵 数 的 输入 参数 为 : 


Pd 
T 
Ai 
Q 
TS 
VV 


Det 
TR 


和 


入 
入 
大 
> 


NET 神经 网 络 


延迟 输入 《反馈 ) 


每 层 的 昌 标 向 世 


初始 输入 条 件 

输入 向 量 的 个 数 

时 间 步 长 

或 者 十 空 矩阵 [ 或 者 是 网 定 的 向 量 的 结构 











该 函数 返回 的 参数 为 





训练 后 的 网 络 

每 “ 步 中 各 个 什 的 训练 记 尿 : 
TR.epoch 训 统 次 数 
TR.perf 训练 性 能 
TR.vperf 验证 性 能 
TRtperf 测试 性 能 


参见 train。 














2.3 BP 网 络 的 神经 网 络 工具 函数 








MATLAB 提供 了 大 量 的 BP 网 络 工具 函数 ， 本 节 将 对 这 些 函数 的 功能 、 调 用 格式 ， 以 
及 使 用 方法 做 详细 的 介绍 。 


23.1 MATLAB 6.5 中 有 关 BP 网 络 的 重要 函数 


MATLAB 63 的 BP 网 络 上 具 箱 中 包含 了 进行 BP 网 络 分 析 和 设计 的 许多 工 其 函数 ， 
表 2-2 列 出 了 这 些 函数 的 名 称 和 基本 功能 。 


表 2-2 BP 网 络 的 重要 函数 和 功能 


























表 数 名 功能 
deltalm Purelin 神经 元 的 5 tdelta) 函 数 
deitalog Logsi 神经 元 的 $ 扎 数 
delratan Tans 证 神经 拒 的 5 两 数 
errsurf 计算 误 兰 曲 而 
[ initf 最 多 = 尼 的 前 向 淹 络 初始 化 
leambp， 及 间 传 播 学 习 规 则 
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( 续 表 ) 
证 数 名 轿 功能 
Leambpm 利用 冲 量规 则 的 改进 BP 算法 
jeamtm Levenberg-Marquandt 学 习 规 则 
Togsi8 对 数 $ 型 传递 函数 
Twog 对 ELogsi 神经 元 产生 Nguycn-Midrew 陆 机 数 
Diwtan 对 Togs 计 神经 元 产生 Nguyen -Midrow 随机 数 
purelin 线性 传 遂 明 数 
simu 企 前 淘 了 网络 仿真 
ansig 正切 S 型 传递 病 数 
trainbp 利用 BP 算 法 训练 前 向 网 络 
trainbpx 利用 快速 BP 竺 法 训练 前 向 网 络 
tratnlm 利用 Levenberg-Maryuardl 规则 训练 前 问 网 络 
2.3.2 工具 函数 详解 
工具 示 数 主要 包括 神经 元 上 的 传递 函数 、( Delia) 函数 、 基 本 阔 数 、 学 习 规则 函数 、 


绘图 函数 ， 以 及 误差 分 析 函 数 等 。 
二 视 经 元 上 的 传递 函数 
《1)》 purelin 
功能 “线性 传递 函数 。 
格式 A= purelin(N 
全 = purelin(z，hb) 
info = puiretin(code) 
说 明 ”purelin 是 :个 从 网 络 的 输入 计算 出 层 的 输出 的 线性 传递 尊 数 ,利用 Widrow-Holf 
或 BP 算法 训练 的 神经 元 的 传递 函数 经 常 采 用 线 忻 团 数 。 其 参数 含义 如 下 : 
N_NXxQ 维 的 输入 向 量 
神经 元 可 采用 的 最 简单 的 浮 数 ， 即 线性 函数 ， 它 只 是 简单 地 将 神经 元 输入 经 阔 值 调整 
后 传递 到 输出 。 
purelinGN) 北 数 可 得 到 输入 矢量 为 N 时 网 络 层 输 出 矩阵 
purelin(z， 旧 的 数 可 用 于 成 批 处 理 矢量 ， 并 且 提供 闪 值 的 情况 。 这 时 阅 值 矢 景 b 与 加 
权 输 入 钨 阵 z 是 区 分 的 。 闭 值 矢量 b 加 到 z 的 每 个 矢量 中 去 ， 以 形成 网 络 的 输入 矩阵 ， 调 
用 后 得 到 的 结果 为 矩阵 。 
在 purelin(p) 函 数 中 ，p 指出 传递 函数 特性 的 名 称 ， 调 用 后 可 得 到 所 询问 的 特性 ， 即 ， 
@@。 purelin(delta) 指出 delta 函数 名 称 
@ purelinginit) 指出 标准 初始 化 哆 数 名 称 
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和 ”purelin(name) 指出 传递 为 数 的 全 称 
@@。 purelin(output) 指出 包含 传递 函数 最 大 和 最 小 输出 值 的 一 元 矢量 
例 程 2-1 的 代码 将 产生 一 个 线性 传递 函数 并 绘 周 表示 。 


例 程 2-1 





n = -5:0.1:5; 
a=purelintn; 
Plottna) 





输出 结果 如 图 2-1 所 示 。 


5 
4 
3 
2 1 
1 
-1 
3 
4 
4 








5 4 
图 2-1 线性 传递 男 数 


参见 sim，dpurelin，satlin，satlins。 
《2) tansig 
功能 双 曲 正切 S 型 (Sigmoid) 传递 丽 数 。 
格式 A=tansig(N) 
A= tansig(z，b) 
info = tansigfcode) 


说 明 双 曲 正切 $ 型 (Sigmoid) 传递 表 数 如 图 2-2 所 示 。 








外 2.2 双 曲 正轨 $S 型 (Sigmoid) 传递 函数 
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双 邮 正切 Sigmoid 传递 函数 用 于 将 神经 元 的 输入 范围 (一 ce， +co ) 脆 射 到 (一 1 +1)。 
正切 Sigmoid 传递 函数 是 可 微 函数 ， 因 此 很 适合 于 利用 BP 算法 训练 神经 网 络 。 该 函数 的 






































各 个 参数 的 含义 同 purelin。 
例 程 2-2 将 产生 一 个 S 型 传递 函数 并 绘图 表示 。 
例 程 2-2 
= -5:0.1:3; 
a=tansig(n); 
plottn,a) 
输出 如 图 2-3 所 示 。 
1 一 一 一 一 一 一 - 一 
o8| 
8 
0.4 | 
02 | 
7 1 
.02 
.04 
06- 1 
8: 
1 


图 2-3 $ 型 传递 甬 数 


参见 sim，dtansig，logsig。 
《3) logsig 
功能 对 数 S 型 (Sigmoid) 传递 函数 。 
格式 A=liogsig(N) 
A= purelin(z，b) 
info = logsig(code) 
说 明 Sigmoid 传递 函数 如 图 2-4 所 示 。 
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对 数 S 型 〈Sigmoid) 传递 函数 用 于 将 神经 元 的 输入 范围 《一 co ，+s ) 映射 到 〈0， 
+1)。 对 数 S 型 (Sigmoid) 传递 函数 是 可 微 函 数 ， 因 此 很 适合 于 利用 BP 算法 训练 神经 
络 。 该 冰 数 的 各 个 参数 的 含义 同 purelin 。 
例 程 2-3 将 产生 一 个 对 数 $ 型 传递 明 数 并 绘图 表示 。 












































例 程 2-3 
了 二 -50.1:5; 
a= jlogsig(n) 
plotma) 
输出 结果 如 图 2-5 所 示 。 
1 - 
08| 
/人 
or 
07: 
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05 
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03; 
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o| “ 
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疼 2-5 对 数 S 型 传递 琢 数 

参见 sim，dlogsig，tansig。 

2.， 6 (Delta) 函数 

《1) dcltalin 

功能 “ 纯 线性 〈purelin) 神经 元 的 6 函数 。 

格式 A=deltalin(a) 

人 =deltalin(a,e) 
A=deltalin(a，d2，w2) 

说 明 通常 的 反 向 传播 算法 〔(BP) 是 利用 网 络 误 盖 平方 和 对 网 络 各 层 输入 的 导数 米 
调整 其 权 值 和 阅 值 的 ， 从 而 降低 误差 平方 和 。 从 网 络 误差 矢量 中 可 推导 出 输出 层 的 误差 导 
数 或 6 〈Delta) 矢量 ， 隐 层 的 8 矢量 导出 ， 这 种 G 矢量 的 反 向 传播 正 是 BP 算法 的 由 来 。 

deltalin(a) 可 计算 出 这 - 层 输 出 对 本 层 输出 的 导数 ， 参 数 矩 阵 a 为 纯 线性 层 的 输出 矢 
量 。 

deltalin(a.e) 可 计算 出 线性 输出 层 的 误差 导数 ， 参 数 拓 阵 a 和 。e 分 别 为 该 尽 的 输出 矢 
量 和 误差。 
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deltalinla，d2，w2) 可 计算 出 线性 隐 层 的 误差 导数 ， 参 数 矩 阵 a 为 纯 线性 层 的 输出 矢 
量 ，d2 为 下 一 层 的 8 矢量 ，w2 为 与 下 一 层 的 连接 权 值 。 
参见 无 
《2) deltalog 
功能 对 数 $ 型 (logsig) 神经 元 的 8 函数 。 
格式 A=deltalog(a) 
A=deltalog(a,e) 
和 A=deltalog(a，d2，w2) 
说 明 deltalogfa) 可 计算 出 这 ` 层 输出 对 本 层 输出 的 导数 ， 参 数 和 矩阵 a 为 对 数 S 型 层 


的 输出 矢量 。 
deltalog(aue) 可 计算 出 logsig 输出 层 的 误差 导数 ， 参 数 矩 阵 a 和 e 分 别 为 该 层 的 输出 
矢量 和 误差 。 


deltalog(a，d2，w2) 可 计算 出 logsig 陷 层 的 误差 导数 ， 参 数 矩 阵 a 为 纯 线性 层 的 输出 
矢量 ，d2 为 下 一 层 的 8 矢量 ，w2 为 与 下 一 层 的 连接 权 值 。 
参见 无 。 
《3》 dektatan 
功能 正切 S 型 (tansig) 神经 元 的 5 函数， 
格式 A=deltatan(a) 
A=deltatanfa,e) 
A=deltatan(a，d2，w2) 
说 阴 deltatan(a) 可 计算 出 这 一 层 输出 对 本 层 输出 的 导数 ， 参 数 甜 阵 a 为 正切 S 型 层 
的 输出 和 量 。 
deltatantae) 可 计算 出 tansig 输出 层 的 误差 导数 ， 参 数 矩 阵 a 和 e 分 别 为 该 层 的 输出 
矢量 和 误差 。 
deltatanta，d2，w2) 可 计算 出 tansig 隐 层 的 误 凑 导数 ， 参 数 和 矩阵 a 为 正切 $ 型 层 的 输 
出 矢量 ，d2 为 下 一 层 的 6 矢量 ，w2 为 与 下 一 层 的 连接 权 值 。 
参见 励 。 
3， 基 本 函数 
(1) initfF 
功能 前 向 网 络 初始 化 。 
格式 [w，bl=inittftp，S， 傅 
fwl，b1，w2，b2]j=initfttp，S1，fL，S2， 人 好 ，83， 全 ) 
[w，bj=initfttp，S，1b 
Iw1，b1，w2，b2]j=initfftp，S1，fL，S2，t2) 
[Fwl1，bl，w2，b2，w3，b3]=inittfp，S1，fl，S2，f2，S3， 归 ) 
说 明 initfttp，S，f 可 得 到 $ 个 神经 元 的 单 层 神经 网 络 的 权 值 和 卫 值 ， 其 中 为 输入 
矢量 ，f 为 神经 网 络 层 问 神经 元 的 传递 函数 。 
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和 - 中 的 莽 一 行 中 必须 包含 网 络 期 户 输 入 的 最 大 值 和 最 小 值 ， 这 样 才能 合 
理 地 初始 化 权 值 和 阅 值 。 











initfft 可 对 最 多 三 层 神经 网 络 进行 初 始 化 ， 可 得 到 等 层 的 权 值 及 阔 值 。 

此 外 ，initff 也 可 用 日 标 矢 量 (代替 网 络 和 输出 层 的 神经 元 数 ， 这 时 输 趾 层 的 神经 元 数 日 
就 为 { 的 行 数 。 

参见 无 。 

(2)》 simu 任 

功能 前 向 网 络 仿 生 。 

格式 simuff Cp，w1、 bl，fl) 

simu 竹 人，w1，bl， 旭 ，w2，b2， 人 2) 
simuffp，w1，bl，fl，w2，b2， 人 2P，w3，b3，13) 

说 明 “前 向 网 络 由 一 系列 网 络 层 组 成 ， 待 “ 层 部 从 前 一 层 得 到 输入 数据 ，simuft 闻 数 
可 仿真 最 多 三 层 的 前 向 网 络 。 

参见 大 。 

(3)》 trainbp 

功能 利用 BP 算法 训练 前 向 网 络 。 

格式 [w，b，te，f]=trainbptw，b，f，p，t，tp) 

[w1，bl，w2，b2，te，t=trainbp(w1，bl， 仁 ， w2，b2， 和 2，p，b 四 ) 
[fw1，b1，w2，b2，w3，b3，te，tj= 
trainbp(w1，b1，fl， w2，b2， 委 ， w3，b3， 生 pb 加 ) 

说 明 利用 BP 算法 训练 前 向 网 络 ， 生 网 络 完成 函数 逼近 、 矢 量 分 类 及 模式 识别 。 

[w，b，te， 人 名 =trainbp(w，b，f，p，b 节 ) 利 用 单 及 神经 元 连接 的 权 值 宇 阵 w， 闭 值 
矢量 b 及 传递 函数 名 成 批 训练 网 络 ， 使 当 输 入 矢量 为 时， 网络 的 输出 为 日 标 矢量 所 阵 
te 

训 为 可 选 训练 参数 ， 其 作用 必 疫 定 如 何 进行 训练 ， 具 体 如 下 ; 

@ tp(D 显示 间隔 次 数 ， 其 默认 值 为 25 

@ tp(2) 最 大 循环 次 数 ， 其 默认 值 为 100 

@ tp(3) 日 标 误差 ， 其 默认 值 为 0.02 

@ tp(4) 学 习 速 率 ， 其 默认 值 为 001 

值得 注意 的 是 ， 当 指定 了 印 参数 时 ， 作 何 默认 或 NaN 值 都 会 自动 取 其 默认 值 。 

当 训练 达到 了 最 大 的 训练 次 数 ， 或 者 网 络 误差 平方 和 降 到 期 望 误差 之 下 时 ， 部 会 使 网 
络 停 止 学习。 学 习 速 率 会 影响 权 香 与 阅 值 更 新 的 比例 ， 较 小 的 学 习 速 率 会 导 敏 学 习 时 间 增 
加 ， 介 有 时 可 避免 训练 过 程 发 散 。 

调用 trainbp 函数 可 得 到 新 的 权 值 矩阵 w、 疯 值 估量 b、 网 络 训练 的 实际 训练 次 数 te 
及 网 络 如 练 误差 平方 和 的 行 失 晤 tr。 

对 于 多 层 网 络 ， 在 调用 trainbp 函数 时 ， 可 得 到 各 层 的 权 值 策 阵 及 各 民 的 讽 值 失 量 。 

参见 无 。 
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4 uainbpx 

功能 “利用 快速 BP 算法 训练 前 向 网 络 、 

格式 [w，b，te，jetainbpaw，b， 人 pb 国 ) 

Il Bi，w2， 2， te atninbpxtwl bl 几 。 W2， ， 生 ,pb 加 
El bw bz， wa te， am- 
insinbpafwi，bl， 和 92，b2， 全 ， w， 8， ,pb 罗 

说 明 。 当 采用 动 是 时 ，BP 等 法 可 找到 更 优 的 解 ， 当 采用 自 运 应 学 习 记 率 时 ，B 算法 
可 加 得 训 给 时 间 ，ainbpx 函数 利用 这 了 种 方法 补 练 多 层 前 向 网 络 。 

wy， by ie， Funbpxfw，b，F，p， it 二 ) 和 用 介 层 神经 元 连接 的 权 信 年 阵 w， 阅 
他 舌 蘑 及 传递 数 名 了 戏 折 训练 网 络 ， 合 当 输 入 矢 节 为 时， 网 络 的 给 出 为 上 标量 拭 
于 

生 为 本 过 训 络 参数 ， 其 作用 是 设 定 刀 条 进行 训 练 ， 只 性 如 下 | 
加 0 显示 何 闻 次 数 ， 其 对 认 全 为 25 
2) 最 大 特 环 次 数 ， 其 对 认 们 为 100 
”wa) 日 标 训 关 ， 其 默认 位 为 002 
HR) 学 习 训 事 ， 其 默认 值 为 001 
5) 设 定 学 习 这 率 增 加 的 比率 ， 其 默认 信 为 05 
6) 设 定 学 习 束 训 碱 少 的 比 事 ， 其 联 兴 信 为 07 
全。 ep) 设 定 者 这 数 ， 其 由 认 值 为 09 
人 ”tp8) 设 定 明 大 误差 比率 ， 其 跑 认 值 为 104 























当 指 定 了 四 各 数 时 ， 任 何 时 认 或 NaN 信者 会 自动 取 关 束 兴 人， 





当 训 练 过 到 了 最大 的 刘 红 次 数 ， 焉 者 网 络 误 答 平 方 和 殊 到 期望 训 益 之 下 时 ， 玫 全 全 网 
络 交 上 学习。 自 适应 学 习 志 旧 先 给 一 个 初始 值 ， 然 后 得 儿科 法 全 之 增加 地 减少 ， 以 保持 学 
飞度 快 而 且 稳定 ， 定 义 在 0~…1 之 同 的 动量 和 定 了 所 使 用 的 动 重大 小 ， 误 淹 比 率 则 限制 
了 单 次 训练 中 可 能 增 训 的 识 益 ， 如 果 误 关上 天 超过 了 误 关 比 率 ， 划 合 奔 新 的 权 信 ， 并 暂时 
不 使用 动 - 

调用 wainbpx 函数 可 短 到 新 的 权 信 距 阵 w、 联 值 秋 量 #、 网 络 训 红 的 实际 请 练 次 数 e 
及 撕 侨 tr， zy 的 第 一 行为 训练 过 各 中 网 络 的 误 莽 ， 第 一 行为 相 训 的 自 适 应 学 习 球 束 。 当 以 
二 皮层 网 络 的 权 值 拓 阵 、 科 人 矢量 及 传 半 光 数 届 用 tinbpx 函数 时 ， 可 得 各 屋 的 权 
值 拭 阵 及 符 层 的 网 包 拓 创 ， 

参见 无 

TS) ninelm 

功能 训练 Buman 遂 失 网 络 - 

梧 式 1wl， 加 ，w2，M2，te， 四 inainbpxtw1，hl，w2，b2， pt 胃 - 

说 明 “Elmuan 神经 网 络 由 一 个 正切 型 隐 必 和 -个 纯 线 性 条 出 层 姐 成 。Tensig 尼 接 这 
网 络 和 办 入 及 从 自身 的 反馈 信号 ， 印 线性 层 从 Tansig 居 得 到 铀 入 。 直 于 lman 神经 网 络 为 
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型 /线性 网 络 ， 因 此 它 能 实现 任何 有 限 值 函 数 ， 由 于 它 右 太 局 连接 ， 央 此 通过 学 习 可 识别 
或 产生 时 间 模 式 和 空间 模式 。 
在 [w1，bl1，w2，b2，te，tj=trainbpx(w1，b1，w2，b2，p，t， 加 ) 蝴 数 中 ，w1，bl 
为 tansig 层 的 权 值 和 阔 值 ，w2，b2 位 线性 输出 层 的 权 值 和 交 值 ，P 为 输入 矢量 ，t 为 相 岂 
的 目标 矢量 ， 网 络 采用 快速 BP 算法 训练 ， 以 使 产生 相 尿 于 矢量 p 的 输出 失 基 4， 
四 为 可 选 训练 参数 ， 其 作用 古 设 定 如 何 进行 训练 ， 有 内 体 如 下 : 
旬 ”tp(1) 显示 间隔 次 数 ， 其 默认 全 为 5 
色 (2》 最 大 循环 次 数 ， 其 默认 信 为 500 
tpG3) “日 标 误差 ， 其 默认 俯 为 0.01 
tp(4) 设置 初始 自 适 应 学 习 速率 ， 其 默认 值 为 0.001 
tp($9) 设 定 学 习 速率 增加 的 比率 ， 其 灼 认 值 为 1.05 
t(6) 设 定 学 习 束 率 减少 的 比率 ， 其 味 认 值 为 0.7 
tp(7) 设 定 动量 常数 ， 其 默认 值 为 0.95 
tp(8)》 设 定 误 尖 比率 ， 其 加 认 值 为 1.04 


鳃 和。 红 定 了 四 参数 时 ， 任 何 下 认 式 NAN 值 部 全 自动 了 其 克 认 值 。 








参见 无 - 

(6) trainlm 

功能 利用 Levenberg-Marquardt 规则 训练 逆向 网 络 。 

格式 “[w，b，te，trl=trainlm(w，b，f，p，t， 切 ) 

fw1，bt，w2，b2，te， 上 l=traintm(w1，bl，f， w2，bB2， 人 和， Pb 划 ) 
[w1，b1，w2，b2，w3，b3，te，t]= 
trainlm(w]，D1，f1T， w2，b2， 人 人 2， w3，b3， 全 ，pP，b p) 

说 明 “Levenberg-Marquardt 算法 比 trainbp 利 trainbpx 甬 数 使 用 的 梯度 下 降 法 紫 快 得 
多 ， 但 它 需 要 更 多 的 内 存 。 

[w，b，te， 四 =mainlm(w，b，f，p，t， 节 ) 利 扑 训 练 参 数 中， 输入 矢量 抵 阵 p 和 相应 
的 目标 和 饼 量 [， 对 初始 权 值 及 阔 值 进行 训练 ， 从 而 得 到 新 的 权 值 w 和 阅 值 矢量 b。 

印 为 可 选 训练 参数 ， 其 作 月 是 设 定 如 何 进行 训练 ， 其 体 如 下 : 

@ tp(1) 显示 间隔 次 数 ， 其 默认 值 为 25 
邹 (2) “最 大 循环 次 数 ， 其 状 认 值 为 1000 
tp(3) 目标 误差 ， 其 默认 值 为 0.02 
tp(4) 设置 最 小 稀 度 ， 其 默认 值 为 0001 
tp(5) 设 定 正 的 初始 值 ， 其 默认 值 为 0.001 
tp(6)， 设 定 玉 的 增加 系数 ， 其 默认 值 为 10 
印 (?) 设 定 太 的 减 小 系数 ， 其 默认 值 为 0.1 
节 (8) 设 定 世 的 最 大 值 ， 其 默认 值 为 le10 
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伐 r 当 指定 了 印 参数 时 ， 任 何 默认 或 NaN 值 都 会 自动 取 其 默认 值 。 








只 有 当 训 练 中 的 误差 达到 了 期 望 误差 ， 上 达到 了 最 大 值 ， 或 者 达到 了 最 大 的 训练 次 数 
时 ， 才 会 停 目 训练。 

变量 凡 确 定 了 学 习 算 法 是 根据 牛顿 法 述 是 梯度 法 来 完成 的 ， 下 式 为 更 新 的 Levenberg- 
Marquardt 规则 ; 


Am=(7J7I+LD Te 


随 着 只 的 增 大 ，Levenberg-Marquardt 中 的 项 y77 可 以 忽略 ， 因 此 学 习 过 程 主要 根据 
梯度 下 降 ， 即 HL J7e 项。 只 要 和 迭代 使 误差 增加 ， 芯 也 就 会 增加 ， 直 到 误差 不 再 增加 为 止 。 
但 是 ， 如 果皮 太 大 ， 则 会 停止 学 习 〈 因 为 上 JJ7e 接 近 填 0)， 当 已 经 找到 最 小 误差 时 ， 就 
会 出 现 这 种 情况 ， 这 就 是 为 什么 当 太 达到 最 小 值 时 要 停止 学 习 的 原因 。 

参见 newff，newgd，traingdm，traingdm，traingda，traingdqx。 

4， 学 习 规则 函数 

《1) learnbp 

功能 反 向 传播 学 习 规 则 函数 。 

格式 [dw，db]=learnbp(p，d，1D。 

说 明 反 向 传播 CBP) 学 习 规 则 为 调整 网 络 的 权 值 和 闭 值 使 网 络 误差 的 平方 和 最 小 ， 
这 是 通过 在 最 速 下 降 方向 上 不 断 地 调整 网 络 的 权 值 和 阔 值 来 达到 的 。 

首先 计算 出 网 络 输出 层 的 误差 矢量 的 导数 ， 然 后 通过 网 络 反 向 传播 ， 直 到 计算 出 每 个 
隐 层 的 误差 导数 〈 称 为 8 矢量 )， 接 着 可 利用 浮 数 deltalin，deltalog 和 deltatan 来 计算 。 

根 据 BP 准则 ， 每 一 层 的 权 值 窍 阵 % 利用 本 层 的 G 矢 量 4 和 输入 矢量 已 来 更 新 ， 

















AmwG 放 = 大 dD.P(D 


其 中 女 为 学 习 速率 。 

learnbp(p，d，H) 后 ， 可 得 到 权 值 修正 矩阵 ， 其 中 为 本 居 的 输入 矢量 ， 世 为 8 估量， 
I 为 学 习 速率 。 

[dw，dbj=leambp(p，d，1l9 可 同时 得 到 权 值 修正 扼 阵 移 值 修 让 失 量 。 

参见 learngd。 

《2) learnbpm 

功能 “利用 动量 规则 的 改进 BP 算法 。 

格式 fdw，db]=learmnbpm(p，d，L，mc，dw，db)。 

说 明 ”使 权 值 的 变化 等 十 上 次 权 值 的 变化 与 这 次 由 BP 准则 引起 的 变化 之 和 ， 这 样 可 
将 动量 加 到 BP 学 习 中 ， 上 一 次 权 值 变化 的 影响 可 由 动量 常数 来 调整 。 当 动 量 常数 为 0 时 ， 
说 明 权 值 的 变化 仅 由 梯度 决定 。 当 动量 常数 为 1 时 ， 说 明 新 的 权 值 的 变化 仅 等 于 上 次 权 值 
变化 ， 而 忽略 掉 梯度 项 ， 其 数学 表达 式 为 : 
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其 中 mec 为 动量 常数 。 

调用 leambpmp，d，i，mc，dw，db) 后 ， 可 得 到 权 值 修正 矩阵 ， 其 中 P 为 本 居 的 
输入 矢量 ，d 为 8 矢量 ，lr 为 学 习 速率 ，mec 为 动量 常数 ，dw 为 上 一 次 权 值 变化 矩阵 。 

[daw，db]=learnbpm(p，d，Ir，mc，dw，db) 可 同时 得 到 新 权 值 修正 知 阵 和 新 闻 值 修 
止 矢量 。 

参见 jearmgdm。 

《3) learnlm 

功能 “Levenberg-Marquardt 学 习 规则 。 

格式 learntm(p，d。 

说 明 “这 - .函数 用 于 计算 网 络 输 出 误 善 对 网 络 层 权 值 的 导数 ， 利用 Levenberg- 
Marquardt 算法 训练 前 向 网 络 时 《trainlm )， 要 用 到 这 种 计算 。Levenberg-Marduardt 算法 的 
训练 速度 比 梯度 下 降 法 要 快 得 多 ， 但 需要 更 多 的 内 存 。 

在 learnlm(p，d) 函 数 中 ，p 为 网 络 层 的 输入 矢量 ，d 为 每 个 网 络 误差 对 网 络 层 每 个 输 
入 的 导数 的 雅 可 比 矩 阵 〈Jacobian )， 调用 后 可 得 到 每 个 网 络 误差 对 网 络 层 每 个 权 值 的 导数 
的 Jacobian 第 阵 。 

参见 mnt2ff，train 。 

5 绘图 员 数 

《1) plotes 

功能 “绘制 误差 曲面 图 。 

格式 blotes(wv，bv，es) 

Blotes(wv，bv，es，) 

说 明 pliotes(wv，bv， es) 绘 制 出 由 权 值 wy 和 疯 值 by 确定 的 误差 曲面 图 es《〈 由 errsurf 
产生 )， 误 差 曲面 图 以 三 维 曲 面 和 等 高 线 图 形式 显示 。 

Blotes(wv，bv，es， ) 多 许 设置 期 望 的 视角 v， 默认 值 为 [-37.5 30] 。 

例 程 2.4 将 绘制 出 误差 曲面 图 ， 输 出 结果 如 网 2-6 所 示 。 

















图 2.6 误差 曲面 图 
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例 程 2-4 





P=[3 2]; 

t= [0.403]; 

wv=-40.44;by = wwi 

ES = errsurftptwwbyw'logsig); 
blotes(wwbvES,[60 30]) 





参见 emsurf。 

(2) plotep 

功能 “在 误 短 曲 而 上 绘制 出 权 值 和 闪 值 的 位 置 。 

格式 h= plotep(w:b.e) 

h = plotep(wb,eh) 

说 明 plotep(wb,e) 在 由 plotes 绘制 的 曲面 图 上， 绘制 出 单 输入 神经 元 误 美 为 时 的 权 
值 w 和 阔 值 b 的 位 置 。 

当 和 给 出 变量 调用 时 ，plotep 函数 可 返回 包含 有 关 位 置信 息 的 矢量 h。 plotep(wbe) 清 
除 网 络 前 一 次 位 置 ， 并 重新 画 出 新 的 神经 元 位 置 。 

参见 ermsurf，plotes。 

6 误差 分 析 函 数 

errSurf 

功能 “计算 误差 曲 负 。 

格式 e= errsurf(p,bwwbv。 

说 明 ermrsurftpbwwbyP 可 计算 单 输入 神经 元 误差 曲面 的 平方 和 ， 输 入 为 输入 行 矢量 
p， 相 应 的 目标 1 和 传递 函数 名 f。 误 差 曲 面 是 从 每 个 权 值 与 出 权 值 wv、 冰 值 by 的 行 矢量 
确定 的 闪 值 的 组 合 中 计算 出 来 的 。 

参见 plotes。 


2.4 线性 网 络 的 神经 网 络 工具 函数 


MATLAB 提供 了 大 量 的 线性 网 络 工具 函数 ， 本 节 将 对 这 些 函 数 的 功能 、 调 用 格式 ， 
以 及 使 用 方法 做 详细 的 介绍 。 


2.4.1 MATLAB 6.5 中 有 关 线 性 网 络 的 工具 函数 











表 2.3 给 出 了 MATLAB 6.5 中 与 线性 网 络 相关 的 神经 网 络 工具 函数 ， 
表 2-3 ”线性 网 络 的 重要 函数 和 功能 


函数 和 名称 - - 动 能“ 





Newlind 设计 “个 线性 灵 








第 2 章 _ 神 经 网 络 工具 箱 函数 及 实例 国 

































































函数 名 称 功能 
Newlin 构 秆 - 个 线性 尼 
Purelin 线 心 长 递 冰 数 
Dotpeod 权 值 点 积 才 煞 
Netsum 网 络 输入 求 和 半数 
inatlay 某 导 的 初始 化 网 数 
initwb 某 丘 的 权 值 和 疗 值 四 初始 化 孝 数 
| imizem 零 权 倘 闭 值 刺 奶 化 打数 
init 一 个 网 络 的 初始 化 函数 | 
Imae 求 平 均 绝 对 误 基 性 能 半数 
Tearnwh Widrow-hoff 的 学 习 规 则 
adaptwb 网 络 的 权 估 阔 年 的 白 通 应 内 数 
adaprtwb 神经 网 络 的 日 适 尿 函 数 
trainwb 网 织 的 私 估 和 冶 值 训 缘 兄 煞 
train 神经 网 结 测 练 前 烙 
raxinlr 线性 兵 的 最 人 学 习 速 认 
errvurf 计算 误 志 性 能 昌 蜡 
Sim 仿真 :个 坤 经 网 终 














2.4.2 工具 男 数 详解 


对 于 表 2-3 给 出 的 函数 中 有 些 己 经 在 2.3 节 中 做 过 介绍 ， 此 处 不 再 重 述 ， 


绍 其 余 的 数 ， 
1. 网 络 子 数 


《1) newjind 





功能 “设计 一 个 线性 层 。 

格式 net = newlind(PT)， 

说 明 newtind(P 了 的 输入 参数 含义 为 : 
@ P RxQ 维 的 Q 组 输入 向 量 的 移 阵 
@ T SxQ 维 的 Q 绿 目标 分 类 剖 王 
该 秀 数 返 回 一 个 线性 层 ， 该 线性 层 足 将 输入 P 设计 为 输出 工 《 其 广 最 小 均 方 误 怎 和 )。 
例 程 2.3 使 用 newlind 函数 来 设计 网 络 。 














上 桓 分 类 介 
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二 





例 程 25 


台 基 有 如 下 的 给 定 输入 P 和 输出 目标 T 的 线性 层 ， 首 且 检验 其 输出 
P=fL231 

T= 12.04.15.9]: 

net = newlind(PT); 

了 = simnehP) 








输出 : 
Y= 
2.0500 4.0000 5.9500 
newlind 函数 通过 求解 下 面 的 线性 方程 ， 根 据 输入 P 和 日 标 T 计算 一 个 线性 层 的 权 值 
和 阔 值 。 
[于 , 相 *[P;ones] = 了 


参见 sim，newlin。 
《2) newlin 
功能 “建立 一 个 线性 网 络 。 
格式 net=newlin(PR,S,ID.LR) 
new = newjin 
说 明 ”线性 层 常常 在 信号 处 理 和 预测 中 用 做 自 适 应 滤波 。newlin(PR.SJD.LR) 各 个 参 
数 的 含义 为 : 
@ PR R 个 输入 元 素 的 最 大 、 最 小 值 的 矩阵 〈RX2) 
@ S 输出 向 量 的 个 数 
好 ”ID 输入 延迟 向 量 ， 黑 认 值 =[0I 
@“LR 学 习 速 率 ， 默 认 值 -0.01 
该 表 数 可 返回 一 个 新 的 线性 层 。 
net = newlin(PR,S,0,P) 妆 数 用 0，P 取代 了 参数 ID，LR， 其 中 了 为 输入 向 量 的 矩阵 。 
此 时 函数 返回 一 个 线性 层 ， 该 线性 层 具 有 对 于 输入 P 而 言 的 最 大 的 稳定 学 习 速 率 。 
参见 newlind，init，train。 
2. 学 习 陨 数 
learmwh 
功能 Widrow-Hoff 学 习 函 数 。 
格式 [dWJLS]= learmwh(WPZNA,TE.gEW.g8A,D,LPLS) 
[db,LSj = learmnwh(b,ones(1 ,QJZN.ATE,gEW'EA.D,LPLS) 
info = learnwhtcode) 
说 明 leamwh 是 Widrow-Hoff 权 值 、 阐 值 学 习 轴 数 ， 也 称 为 delta 准则 或 最 小 方差 准 
则 。 该 函数 可 收 改 神经 元 的 权 值 和 阔 值 ， 使 输出 误差 的 平方 和 最 小 ， 可 沿 着 误差 平方 和 的 
最 速 下 降 方向 连续 调整 网 络 的 权 值 和 阔 值 。 由 于 线性 网 络 的 误差 性 能 表面 是 抛物 面 ， 仅 有 
-个 最 小 值 ， 故 能 保证 网 络 是 收敛 的 ， 只 要 学 习 速率 不 超出 用 maxlinlr 函数 计算 的 最 大 值 。 
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Jeamwh(WPZNATESWgA.DLPLS) 函 数 的 参数 含义 为 ， 
外 ” 允 SXR 权 值 失 阵 〈 或 Sx1 的 闫 值 向 基 ) 
RxQ 输入 向 量 〈 或 Q 组 单个 输入 ) 
SxQ 加 权 输 入 向 量 
SXQ 网络 的 输入 向 量 
SXQ 输出 向 量 
SxQ 某 层 的 目标 向 量 
SxQ 某 层 的 误差 向 量 
gW SXR 误差 性 能 的 梯度 
gA SXQ 误差 性 能 的 输出 梯度 
LP 学习 参数 ， 基 无，LP=[] 
LS 学 习 状态 ， 应 初始 化 为 [] 
该 函数 返回 ; 
@ dW SxR 权 值 (或 阐 值 ) 变化 乞 阵 
@ LS 新 的 学 习 状态 
网 络 按照 leamwh 的 学 习 参 数 进行 学 习 ， 下 面 给 出 默认 值 : 
LPlr=0.01 学 习 速率 
Into=learnwhkcode) 函 数 针 对 每 一 种 code 代码 返 
@@ ,pnames' 返回 学 习 参 数 名 
@ 。 'pdesanits， 返回 默认 的 学 习 参 数 
@ meedg'， 若 该 秃 数 使 用 gW 或 gA， 则 返 品 1 
参见 newlin，adaptwb，trainwb，adapt 
3. 分 析 阔 数 
maxlinlr 
功能 计算 线性 层 的 最 大 学 习 速 率 。 
格式 开 = maxlinlr(P) 
IE = maxlinlr(Pbias》 


说 明 maxtinlr 通 数 用 于 为 newlin 计算 学 习 速 率 。 通 常 学 习 速 率 越 人 ， 网 络 训练 所 需 


口 世 N 








四 





相应 的 有 用 信息 : 





的 时 间 越 少 。 但 是 如 果 学 习 速 率 太 大 ， 学 习 过 程 就 不 稳 定 。 沪 函数 用 来 计算 Widrow-Ho 企 
算法 的 线性 神经 元 层 的 最 大 学 习 速 率 。 


maxtintt(P) 函 数 的 参数 为 网 终 的 给 定 输入 P 向 量 ， 可 返回 一 个 不 带 六 值 的 线性 居所 需 


的 最 大 学 习 速 率 ， 该 层 仅 用 P 中 的 向 晤 进行 训练 。 


maxlinlr(P'biasy 可 返回 - -个 带 有 阔 值 的 线性 尽 所 需 的 最 大 学 习 速率 。 
下 面 定义 了 4 组 2 维 输 入 向 量 : 

pP=[L2-47;:013 10 全 

对 其 有 阅 值 的 线性 层 求 出 其 最 大 学 习 速 率 : 

Jr=maxlinlr(p,bias) 


上 述 诸 名 执行 后， 结果 如 下 
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Tr=0.0067 


参见 linnet，learmwh，adaptwh，trainwh。 


2.5 自 组 织 竞争 网 络 工具 箱 函 数 





MATLAB 提供 了 大 量 的 白 组 织 竞 争 网 络 工 具 画 数 ， 本 节 将 对 这 些 函 数 的 功能 、 调 用 
格式 ， 以 及 使 用 方法 做 详细 的 介绍 。 


2.5.1 MATLAB 6.5 中 有 关 自 组 织 网 络 的 工具 箱 困 数 


MATLAB 6.5 中 提供 了 许多 进行 神经 网 络 设计 和 分 析 的 开具 箱 函 数 ， 有 关 这 些 函数 的 
使 用 可 通过 heip 命令 得 到 。 表 2-4 给 出 了 与 昕 组 织 网 络 有 关 的 工 其 函数 。 


表 2-4 自 组 织 网 络 的 重要 函数 和 功能 



















































































簿 数 名 称 荔 能 ， 
交 奸 几 iewc 创建 个 竞争 尼 
newsom 创建 ”个 白 组 织 特征 岗 射 
Dist 欧 氏 是 离 权 值 冰 数 
距离 曙 数 mandist Manhattan 距离 权 逢 明 数 
nkdiat Link 眠 离 台 数 
初始 化 函数 ntte 初始 化 况 争 兵 
initsm 韦 折 化 自 组 织 特征 块 射 网 络 
| ii 初始 化 .个 神经 网 络 
midpoint 中 点 色 什 切 始 化 交 数 
leamk Kohonen 权 值 学 习 苯 数 
eamis Jnstar 权 值 学 习 函数 
人 eatnos Oststar 权 值 学 习 函 数 
上 leamsom 自 组 织 特征 映射 权 值 学 习 冰 数 
tmainc 训练 竞争 层 
训练 冰 数 ansm 利用 Kohonen 规则 训练 上 给 织 特征 映射 
min 训练 _ 个 神经 网 络 
Simuc 竞争 仿真 尼 
仿真 浮上 数 Simusm 白 纪 织 特征 喘 射 网 络 仿真 
sim 仿真 个 神经 网 络 
nbdisL 用 矢 基 距离 圾 示 的 领域 矩阵 
领域 殉 数 mbgrnid 用 器 桥 距 离 表 示 的 锦 域 矩阵 
mhman 用 Manhattan 距离 老公 的 俩 域 类 蕉 





一 -一 一 沪 2 让 神经 由 络 [ 只 和 5 效 RH GE AAATLA 必 6.5 em 




















〈 续 表 ) 
[ 配 数 名 称 萄 “能 

权 信 函数 egdist 对 输入 矢量 进行 加 检 计 算 
网 络 输入 前 数 metsum 计算 网 络 答 入 父 章 和 
传递 本数 comBet 竞争 传递 两 数 

plotsm 绘制 蝇 红 织 特 征 贞 射 网 络 的 权 值 矢量 
绘 狠 南 数 

lotsotmn 绘制 自 组 织 特征 映射 网 络 











2.5.2 ”工具 函数 详解 


工具 函数 主要 包括 创建 网 络 数 、 距 离 函 数 、 初 始 化 函数 、 学 习 函 数 、 训 练 函 数 、 仿 
真 函数 、 邻 域 函数 、 权 值 函 数 、 传 递 上 数 ， 以 及 绘图 函数 等 。 

1. 创建 网 络 

〈《[) newc 

功能 用 于 创建 一 个 竞争 层 。 

格式 net = newe(P,R,S,KLR)。 

说 明 newe 函数 返回 -- 个 新 的 竞争 层 。 其 中 ， 输 入 矢量 乱 阵 P 为 RX2 维 撮 阵 ，R 为 
输入 向 量 的 个 数 ， 半 旦 在 夭 阵 P 中 必须 指明 每 - ' 个 输入 矢量 的 最 大 、 最 小 值 范围 。 变 和 量 S 
表示 神经 元 的 个 数 ， 变 量 KLR 表示 Kohonen 学 习 速 率 ， 其 默认 值 为 0.01 

参见 sim，init，adapt，train，trainwhb1l。 

《2) newsom 

功能 创建 个 白 组 织 特征 映射 。 

格式 net = newsom(PR,Td1.d2…,di]。 

说 明 newsom () 男 数 返回 .一 个 新 的 自 组 织 特征 映射 。 其 中 ， 输 入 矢量 算 阵 了 为 及 X2 
维 矩 阵 ，R 为 输入 向 量 的 个 数 ， 并 县 在 矩阵 P 中 必须 指明 每 一 个 输入 矢量 的 最 人 、 基 小 值 
范围 ,ii 表示 网 络 层 的 维 数 大 小 。 

例 程 2.6 创建 -个 自 组 织 特征 映射 。 

例 程 2-6 


能 给 入 尔 量 分 布 在 一 个 一 维 输入 空间 ， 其 变化 范围 分 别 为 [0 3] 和 [0 1]， 组 织 特征 喘 射 网 络 维 数 
为 135]， 

名 用 plotsom( ) 数 绘制 组 织 特征 耿 复 、 

P=[rand(i.400)*2:rand(1,400) 

net=newsomtI0 2:0 1]13 5]); 

Plotsomnetlayersf1 positions) 





























运行 上 面 的 代码 ， 结 果 如 图 2.7 所 示 。 圆 点 表示 神经 元 的 位 置 ， 它 们 通过 欧 氏 距离 1 
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Neuron Positions 


3 
25 ee 二 昌 
号 ee 名 旬 
委 1.5 
名 
1 
全 人 ， 
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ee 四 
-05 0 05 1 15 2 25 3 
positionf1 力 


独 2-7 自 组 织 特征 映射 
参见 sim，init，train。 
2 距离 郧 数 
《1)》 dist 
功能 “ 欧 氏 距离 权 值 函数 。 
格式 Z=dist(WP) 
由 =disttderiv) 
了 D=dist(pes) 
说 明 dist(W.P) 北 数 是 一 个 欧 氏 距离 权 值 函数 ， 它 对 输入 进行 加 权 ， 得 到 被 加 权 的 输 
入 。 其 小， 有 是 权 值 荔 数 ，P 是 输入 矢量 和 矩阵， 函数 返回 一 个 矢量 距离 矩阵 。”- 般 而 言 ， 
两 个 矢量 X 和 YY 之 间 的 欧 氏 距离 4 定义 为 : 


可 =3SUAI(Y 一 人.^A2).AS 


D = distfpog) 函 数 也 可 以 作为 . -个 阶层 距离 函数 ， 用 于 查找 某 一 层 神经 网 络 中 的 所 有 
神经 元 之 间 的 欧 氏 距离 ， 函 数 也 返回 - 个 距离 矩阵 。 

任意 给 定 输入 矢量 和 权 值 矩阵 ， 可 利用 dist 函数 计算 欧 氏 距离 。 
W=rand(437 
了 P=rand(3,1); 
Zr-dist(WP) 

运行 上 面 的 代码 ， 结 果 为 : 

了 = 
0.5219 
0.6374 
0.2064 
0.9015 
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参见 sim，dotprod，negdist，normprod，mandist，!inkdist。 
《2) mandist 
功能 “Manhattan 距离 权 值 数 ， 
格式 Z= mandist(W,.P) 
df= mandistoderiv) 
D = mandist(Ppos); 
说 明 mandist(W,P) 函 数 是 一 个 Manhattan 距离 权 值 函数 ， 它 对 钵 入 进行 加 权 ， 得 到 
被 加 权 的 输入 。 其 路 ，W 是 权 值 区 数 ，P 是 输入 矢量 年 阵 ， 数 返回 一 个 矢量 路 离 咎 阵 。 
- - 般 而 言 ， 两 个 天 量 X 和 上 之 间 的 Manhattan 距离 民 定 义 为 : 





妈 =SUptapy(Cr 一) 


P = mandistpos) 阔 数 也 可 以 作为 “个 阶层 距离 吨 数 ， 用 十 查找 某 - 层 冲 经 网 络 中 的 所 
有 神经 元 之 问 的 Manhattan 上 中 风 距离 ， 现 数 也 返回 “个 距离 纸 阵 。 
任意 给 定 输入 矢量 和 权 值 种 阵 ， 可 利用 mandist 函数 计算 Manhattan 旺 离 、 
到 =rand(4.3) 
下 = randf3.11: 
Z = mandist(W,.P) 
运行 上 面 的 代码 ， 结 果 为 : 
了 = 
1.1677 
0.4736 
1.0733 
1 1030 
参见 dist，linkdist，sim. 
《3》 linkdist 
功能 link 押 离 范 数 。 
格式 d=linkdisttpos)。 
说 明 linkdisttpos) 函 数 是 - -个 阶层 赋 离 曙 数 ， 用 于 查找 其 一 层 神经 网 络 中 的 所 有 神经 
元 之 间 的 即 离 ， 函 数 返 同一 个 距离 矩 际 。- 般 而 训 ， 对 于 8 个 矢量 中 ， 两 个 位 置 矢量 严 
和 正之 间 的 iink 距离 定 文 为 ; 
=0i= 
=L(sun((Pi 一 PhD A27 AS5S1 
站 六 一 1= 2,Kexih, D 斌 1 = 有 PK 天 2 一 DAK27 = 
二 六 ,DKI= PKIK2=…= DHU =1 
= ,Ofhers 
宁 间 里 的 10 个 神经 元 任意 定义 … 个 位 置 矩 阵 ， 可 以 用 linkdist 函 





例如 ， 为 分 布 在 
数 查 找 其 fink 焉 离 。 


pos = rand(3,10); 






到 


D= linkdisttpos) 
执行 上 面 的 代码 后 ， 结 果 如 下 : 


D= 
0 工 工 1 1 开 1 
1 0 工 ] 1 1 工 
工 工 0 1 了 荆 工 
工 工 上 0 了 2 1 工 
1 工 2 2 0 1 1 
1 ] 1 1 ] 0 工 
] ] 1 ] ] 1 人 0 
] ] ] 2 1 1 
] ] ] ] 1 ] 
] 1 工 工 2 工 1 


参见 sim，dist，mangist。 
3. 初始 化 函数 

《1)》 initc 

功能 初始 化 竞争 层 。 
格式 ”w=initc(p，s)。 








说 明 initc(p，s) 函 数 返 回 竞争 层 的 权 值 。 其 中 ，p 为 输入 样本 矢量 矩阵 ，s 为 神经 元 
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输入 关 量 六 的 第 7 行 需 包 含有 网 络 输 入 7 的 最 小 值 、 最 大 值 ， 这 样 才能 


正确 初始 化 权 值 。 





例 程 2-7 利用 initc 函数 初始 化 竞争 层 。 
例 程 2-7 





p=[3 3;0 6]; 
w=initc(p,3) 








执行 上 而 的 代码 后 ， 结 果 如 下 : 
WwW= 
0 3 
0 3 
人 3 
参见 无 。 
(2)》 initsm 
功能 初始 化 自 组 织 特征 映射 网 络 。 
格式 w=initsm(p，s)。 





说 明 initsm(p，s) 函 数 返 回 自 组 织 特征 映射 网 络 的 权 值 ， 其 中 ，p 为 输入 样本 矢量 矩 
阵 ，s 为 神经 元 数 。 必 须 注意 ， 输 入 矢量 p 的 第 工行 需 包 含有 网 络 输 入 I 的 最 小 值 、 最 大 
值 ， 这 样 才能 正确 初始 化 权 值 。 
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例 程 2-8 利用 initsm 函数 初始 化 自 组 织 特征 映射 网 络 。 
例 程 28 





p=[4409]， 
v=initsm(p,3) 





执行 上 面 的 代码 后 ， 结 果 如 下 : 
w= 
0 45000 
0 45000 
0 45000 


参见 无 。 

《3)》 init 

功能 初始 化 一 个 神经 网 络 。 

格式 net = initneb。 

说 明 initneb 函 数 返 回 一 个 根据 网 络 初始 化 函数 更 新 了 权 值 和 偏差 的 神经 网 络 。 

参见 sim，adapt，initiay，initnw，initwb，rands。 

《4)》 midpoint 

功能 中 点 权 值 初始 化 函数 。 

格式 W=midpoint(SPR)。 

说 明 在 midpoint(S,PR) 函 数 中 ，S 为 神经 元 的 个 数 ，P 为 Rx2 维 插 阵 ， 它 包含 每 个 
输入 中 的 最 大 值 和 最 小 值 ， 函 数 返回 一 个 Sx2 维权 值 矩阵 。 下 全 人 全 力作 
(Pmin+Pmax》 /2， 因 为 网 络 输入 很 可 能 出 现在 中 间 此 ， 如 果 竞争 民 和 自 组 织 
的 初始 权 值 选择 在 输入 空间 中 的 中 间 区 划 其 学 习 会 更 加 有 效 。 

例 程 2.9 利用 midpoint 函数 初始 化 权 值 。 


例 程 29 








区 





























Pt0 1-2 3]; 
w=midpoinit3,p) 





执行 上 面 的 代码 后 ， 结 果 如 下 ; 


0.5000 0 
0.5000 0 
0.5000 0 

参见 initwb，iniday，init。 

4. 学 习 孙 数 

〈1) learnk 


功能 “Kononen 权 值 学 习 函 数 。 
格式 [dWLS] = leamk(WPZNATE.8EW.gADLPLS) 
info = learnk(code) 
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说 明 learnk 函数 是 Kononen 权 值 学 习 邱 数 ， 其 各 个 参数 含义 如 下 : 
@@ W SxR 权 值 矩 阵 〈 或 Sxl 偏向 量 ) 
P “RxQ 输入 向 量 
Z SxQ 权 值 输入 向 量 
N SxQ 网 络 输 入 向 量 
A SxQ 答 出 向 量 
T SxQ 层 电 标 向 量 
E SxQ 层 误差 向 量 
gW SxR 性 能 锯 度 
SA _ SxQ 输出 性 能 梯度 
D SxS 神经 元 距离 
LP 学习 参数 ， 若 无 ， 则 工 P=[] 
LS 学 习 状 态 ， 必 初始 化 LS=f] 

该 函数 返回 : 

@ dW SxR 权 变 化 矩阵 

@ LS 新 的 学 习 状态 

Leamk0) 未 数 依据 Kononen 相关 准则 计算 网 络 层 的 权 变 化 宗 阵 。 其 学 习 通 过 调整 神经 
元 的 权 值 等 十 当前 输入 矢量 ， 使 神经 元 存储 输入 矢量 ， 用 于 以 后 的 识别 ， 即 : 


人 不 全 放 = 普 * 人 (PP 一 A 丈 仿 方 ) 


参见 leamis,learnos。 

《2) learnis 

功能 Instar 权 值 学 习 函 数 。 

格式 [dWJLS] = leamis(W.PZ,NA'TE,gW,EA.D,LPLS) 

info = learnis(code) 

说 明 learnis 函数 依据 Instar 相关 准则 计算 网 络 导 的 权 变 化 矩阵 。 其 学 习 用 一 个 正比 
填 神 经 元 输出 的 学 习 速 率 米 调整 权 值 ， 学 习 一 个 新 的 矢量 使 之 等 于 当前 输入 。 这 样 ， 任 何 
使 mnstar 层 引起 高 输出 的 变化 ， 痢 会 导致 网 络 根据 当前 的 输入 矢量 学 习 这 种 变化 。 最 终 ， 
相同 的 输入 使 网 络 有 明显 不 同 的 输出 。 即 : 


A 环 介 户 = 及 #P(C- 风 全 六 ”aaG) 


leamis(WPZN,ATE,.gW,gADLPLS) 函 数 各 参数 的 含义 如 上: 
@@ W SxR 权 信和 矩阵 (或 Sx1 偏向 量 ) 

RxQ 输入 向 量 

SxQ 权 值 输入 癌 量 

SXQ 网 络 输 入 向 基 

SxQ 输出 向 量 

SxQ 层 日 标 向 量 


国 图 @ 利和 
口 三 祝 局 
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介 E SxQ 导 误 访 向 重 
gW SXR 性 能 梯度 
gA SxQ 输出 性 能 梯度 
D SxS 神经 元 距离 
LP 学 习 参 数 ， 苦 无 ， 则 ELP=[] 
LS 学 习 状 态 ， 应 初始 化 LS=[ 了 

该 函数 返回: 

提 dW SxR 权 变 化 矩阵 

@@ LS 新 的 学 习 状态 

参见 learnk，learnos，adaptwb。 

【3) learnos 

功能 “Outstar 权 值 学 习 函 数 。 

格式 [dWLS] = leamos(WPZ.N,ATE,gWgADLPLS) 

info = learnmosftcode) 

说 明 learnos 函数 恢 指 Outstar 相关 准则 计算 网 络 层 的 权 修 改 和 矩阵。Outstar 网 络 层 的 
权 可 以 看 做 是 与 网 络 层 的 输入 矢量 一 样 多 的 长 期 仓储 器 。 通 常 ，Outstar 层 是 线性 的 ， 允 
许 输入 权 值 按 线性 层 学 习 输入 矢量 。 内 此 ， 作 储 企 和 输入 权 值 中 的 矢量 可 通过 激活 该 输入 而 
得 到 ， 即 : 


A 取 人 万 = 赤 < 四 一 到 全 用 关 己方 


learnos 函数 各 个 参数 的 含义 同 .上 。 
例 程 2-10 计算 网 络 层 的 权 变 化 矩阵 。 


例 程 10 





名 一 个 自 组 织 浆 络 ,在 给 定 其 随机 输入 乍 阵 R 输 出 和 隆 A, 权 值 矩 阵 W 利 学 习 速率 后 ， 可 以 用 
eamos() 

驳 函 数 计算 其 网 络 层 的 权 变 化 敌阵 。 

p=rand(3,2); 

arand(3.2); 

w=rand(3,3) 

1r=0.5; 

dw=leamos(w,puajrh 





执行 完 上 面 的 代码 后 ， 结 果 如 下 
dw= 
-03370 ”00232 0.0271 
-03717 -02486 -03716 
0.4561 -0.0667 0.5114 
参见 leamis，learnk，adaptwb。 
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《4》 learmsom 


功能 自 组 织 特征 上 映 射 权 值 学 习 函 数 。 

格式 [dWLS] = learmk(WPZNATESW'8ADILPLS) 

info = leatmmktcode) 

说 明 网络 学 习 是 根据 leamsom 函数 所 给 出 的 学 习 参数 开始 的 ， 其 正常 状态 学 习 速 率 
LPorder 黑 认 值 为 0.9， 正 常 状态 学 习 步 数 LPorder_steps 软 认 值 为 1000， 调 整 状态 学 习 
速率 LPtune_lr 默认 值 为 002， 调 整 状 态 邻 域 距离 LPtune_nd 默认 值 为 1。 

learnos 函 妆 各 个 参数 的 含义 同上 。 

在 网 络 处 于 正常 状态 和 调整 状态 时 ， 学 习 速率 r 和 邻 域 尺 寸 nd 都 得 到 更 新 。 正 常 状 
态 的 持续 时 间 由 LPorder_ steps 定义 ， 在 这 期 间 ， 学 习 速 率 LR 从 LPorder_lr 调整 到 
LPtune_ tr， 邻 域 尺寸 从 最 大 神经 元 距离 下 调 到 1。 神 经 元 的 权 值 按照 期 望 的 方向 在 适应 神 
经 元 位 置 的 输入 空间 建立 次 序 。 在 调整 状态 ， 学 习 速 率 LR 慢 复 从 LPtune_ 减 小 ， 邻 域 
距离 nd 常常 被 设 为 LPtune_nd。 在 这 期 间 ， 神 经 元 的 权 值 按照 期 望 的 方向 从 输入 空间 伸 
展 ， 直 到 保留 到 它们 在 正常 状态 时 所 建立 的 拓扑 次 序 。 

参见 leamis， adaptwb。 

5 训练 虽 数 

《1》 trainsm 

功能 “利用 Kohonen 规则 训练 自 组 织 特征 上 映 射 网络 。 

格式 w=trainsm(w，b，p，tp) 。 

说 明 trainsm( ) 函 数 在 训练 参数 印 的 控制 下 ， 对 输入 矢量 为 p 时 的 初始 值 进行 训练 ， 

返回 -- 个 新 的 权 值 答 阵 w。 其 中 ， 训 练 参数 印 可 设 定 为 : 

@ tp(D)， 表示 两 次 更 新 显示 的 迭代 次 数 ， 默 认 值 为 25 

@ 。 节 (2) 表示 训练 送 代 的 最 大 次 数 ， 默 认 值 为 100 

入 ”好 p(3) 表示 初始 学 习 速 率 ， 味 认 值 为 1 

例 程 2-11 表示 自 组 织 特征 映射 网 络 训练 。 


例 程 2-11 
多 任意 创建 一 个 具有 100 个 元 的 输入 矢量 ， 构 造 -个 排列 在 3X3 棚 格 上 由 9 个 神经 元 组 成 








瑟 














的 自 组 。 
% 织 特征 映射 网 络 ， 对 网 络 训练 400 次 ， 观 察 网 络 的 自 组 织 能 力 。 
了 P=rand(2.100); 
丽 =initsm(P9);， 
M=nbman(3.3): 
WE=irmainsm(WM,P{20400D 





执行 完 上 面 的 代码 后 ， 返 回 新 的 权 值 移 阵 如 图 2-8 所 示 。 
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只 = 

0.7460 
0.4927 
0.2446 
0.7751 
0.5460 
人 .2532 
0.7440 
0.4827 
0.2341 


参见 无 。 

(2) trainc 

功能 利用 Kohonen 规则 训练 特 组 织 特征 映射 网 络 。 

格式 ”w=trainc(w，b， tp) 。 

说 了 明 trainel ) 函 数 在 训练 参数 外 的 往 制 下 ， 通 过 调整 初始 权 值 w 和 偏差 矢量 ， 返 呵 
相应 于 随机 顺序 选取 的 输入 矢量 p 的 新 的 权 值 矩 阵 。 其 中 ， 训 练 参数 pp 可 设 定 为 : 


tp(]) 
印 (2) 
tp(3) 
tp(4 
tp(3) 














02 03 04 05 06 07 08 09 
SUT) 


图 2-8 权 值 矩阵 


0.8092 
0.7910 
07604 
05474 
0.4972 
0.5154 
0.2571 
人 .2377 
0.2598 


表示 两 次 更 新 显示 的 和 迭代 次 数 ， 默 认 值 为 25 
表示 训练 迁 代 的 最 大 次 数 ， 默 认 值 为 100 
表示 学 习 速率 ， 默 认 值 为 001 

表示 跟踪 性 能 〈 从 0 到 17， 默认 值 为 0.999 
表示 加 权 性 能 (从 0 公 1)， 默 认 值 为 0.1 


在 竞争 层 的 网 络 训练 中 ， 从 一 组 输入 矢量 中 随机 选取 - -个 矢量 到 竞争 网 络 ， 直 到 满足 
指定 的 训练 次 数 ， 然 后 找 出 输入 最 大 的 神经 元 ， 并 利用 Kohonen 规则 更 新 权 值 。 在 满足 
训练 过 程 中 ， 不 断 地洞 整 偏差 矢量 ， 使 得 小 概率 输出 为 1 的 神经 元 具有 较 火 的 偏 共 ， 这 可 
以 促使 那些 “失败 ”的 神经 元 有 更 多 的 调整 机 会 。 同 时 ， 训 练 参 数 外 (4) 越 接近 于 1， 计 算 
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神经 元 输出 均值 就 越 慢 ， 训 练 参数 中 (5) 越 小 ， 高 或 低 的 均值 对 神经 元 偏差 和 获 此 率 的 影 
响 也 越 小 。 因 此 ， 对 于 稳定 的 学 习 ，tp(4) 应 非常 接近 于 1，tp(S) 应 非常 小 ， 然 下 如果 tp(4) 
太 接近 于 1，tp(5) 太 小 ， 网 络 的 训练 时 间 也 会 增加 。 

参见 无 。 

《3)》 train 

功能 “利用 Kohonen 规则 训练 白 组 织 特征 映射 网 络 。 

格式 “Inettr] = train(NETPTPiAiD) 

[nettr] = train(NETPTPiAiVYVTV) 

说 明 train( ) 晒 数 各 个 参数 的 含义 如 下 : 

@@ NET 神经 网 络 

@@ 了 网 络 日 标 矢量 

@@ 了 P 网 络 输入 矢量 

@ Pi 初始 网 络 延迟 条 件 ， 黑 认 值 为 0 

@@ Ai 初始 民 延 迟 条 件 ， 默 认 值 为 0 

返回 值 为 

@ net 训练 好 的 神经 网 络 

量 ft 有 关 训 练 的 进程 记录 

参见 sim，init，adapt。 

6. 仿真 闸 数 

《17) simuc 

功能 竞争 层 仿真 。 

格式 simuc (P，w)。 

说 明 simue (p，w) 阴 数 返回 网 络 层 的 输出 ， 其 中 p 为 输入 矢量 年 阵 ，W 为 竞争 层 
的 权 值 短 阵 。 一 个 竞争 层 包 含 一 层 神经 元 ， 在 任何 给 定时 间 ， 只 有 网 络 输 入 最 大 的 神经 元 
输出 为 1， 其 他 的 神经 元 输出 为 0。 出 于 竞争 层 的 任何 一 个 输出 向 量 中 仅 含 惟一 的 非 零 值 ， 
此 simuc (p，w》 函数 的 返 问 值 是 一 个 稀 朴 矩阵 ， 这 就 为 计算 机 存储 提供 了 方便 ， 可 以 
大 大 降低 对 机 器 内 存 的 需求 。 

利用 simuc 函数 可 以 计算 出 党 争 层 对 输入 的 响应 。 

w=initc([0 2;-5 5],4)， 

a=simuc([2;4jw) 

块 行 上 面 的 代码 后 ， 其 结果 如 下 : 

a = 

(LT) 1 

参见 无 。 

《2》 simusm 

功能 自 组 织 特征 映射 网 络 仿真 。 

格式 simusm (p，w， 症 ) 

simusm (p，W，m，n) 
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说 明 simusmt ) 函 数 返 回 自 组 织 特征 肌 射 网 络 的 输出 。 其 中 P 为 输入 矢量 矩阵 ， 吕 为 
权 值 拭 阵 ，mm 为 网 络 的 邻 阵 ， 参 数 n 为 邻 域 的 大 小 ， 默 认 值 为 [。 白 纽 织 特 征 映射 网 络 | 由 
分 布 在 一 维 或 多 维 空间 中 的 神经 元 组 成 ， 人 在 任何 时 候 ， 具 有 网 络 输 入 最 大 的 神经 元 输出 1， 
与 获胜 神经 元 相 邻 的 神经 元 输出 为 0.5， 其 余 神 经 元 输出 为 0。 因此， 对 于 网 络 输入 最 大 
的 昼 经 元 I， 其 对 应 的 输出 为 1， 与 之 距离 在 ] 之 内 (mfij) 私 旭 的 神经 元 j， 其 输出 为 0.5。 

参见 无 。 

《3) sim 

功能 “网络 层 仿真 。 
格式 [ITX,Y] = simfmodel',timespan,optionsub 
全 ,和 ,了 1….Yn] = sim(model,timespan'options,ub) 

说 明 simt ) 冰 数 各 个 参数 的 含义 如 下 : 

@@ ”model 块 的 名 称 
timespan 起 始 时 间或 [起 始 时 间 ， 终 止 时 间 ] 或 起 始 时 间 ， 和 输出 时 间 ， 终 止 时 间 ] 
options “最 优 仿真 参数 
ut 最 优 外 部 输入 
T 返回 的 时 间 向 大 
X 返回 的 状态 矩阵 或 结构 
Y 返回 的 输出 扼 阵 或 结构 

参见 sidebug，simset。 

7. 邻 域 函 数 

《1)》 nbxdist 

功能 用 矢量 距离 表示 的 邻 域 抵 阵 。 

格式 nbdist (91) 

mnbdisttd1,d2》 
nbdisttdt,d2,….d5) 

说 肯 “自给 织 网 络 中 的 神经 元 可 以 按 赂 任何 方式 排列 ， 这 种 排列 可 以 用 表示 同一 层 神 
经 元 间距 离 的 邻 域 来 描述 。 因 此 ，nbdisttd]) 返 回 一 维 排 基 的 d1xdl 的 邻 域 阵 ， 家 示 -- 维 
中 令 有 dl 个 神经 元 ， 其 元 素 (j) 表示 神经 元 i 与 神经 元 j 之 问 的 矢量 距离 。 nbdist(d1，4d2) 
返回 二 维 排 列 的 《dl*d2) Xtdisd2) 邻 阵 ， 表 示 二 维 由 含有 dlxd2 个 神经 元 ， 其 元 素 〈i) 
志 示 神经 元 i 5 神经 元 j 之 阅 的 矢量 距离 。nbdist( ) 函 数 可 用 于 等 层 最 多 有 5 维 ， 最 多 和 有 5 
层 的 网 络 ，“- 般 而 震 维 数 越 少 ， 收 伍 越 快 。 运行 命令 : 

tm=nbdist (2，3 ) 


程序 运行 结果 为 : 
站 = 
0 4000 2000 10000 14142 22361 
1.0000 0 10000 14142 10000 。 14142 
2.0000 10000 0 2236! 14142 1.0000 
1.0000 1.4142 。 2.2361 0 1.0000 2.0000 
14142 10000 14142 1.0000 0 10000 
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2.2361 1.4142 410000 2.0000 1.0000 0 
参见 无 。 
(2) nbgrid 
功能 用 栅 格 距离 表示 的 邻 域 矩阵 。 
格式 nbgrid(dl) 
nbgrid(d1，d2) 
nbgrid(dl ，d2，.…,d5) 
说 明 自 组 织 网 络 中 的 神经 元 可 以 按照 任何 方式 排列 ， 这 种 排列 可 以 用 表示 同一 层 神 
经 元 间距 离 的 邻 域 米 描述 。 而 两 神经 元 的 栅 格 亚 离 是 指 在 神经 元 举 标 相 减 后 的 矢量 中 ， 其 
元 素 幅 值 的 最 大 值 。 因 此 ，nbgrid(dl) 返回 一 维 排列 的 d1xdl 的 邻 域 阵 ， 表 示 一 维 中 含有 
dl 个 神经 元 ， 其 元 素 〈ij) 卖 示 神 经 元 让 与 神经 元 j 之 问 的 栅 格 距离 。nbdist(rdl ，d2) 返 
二 维 排列 的 〈dlxd2》 xdl*d2) 邻 阵 ， 表 示 二 维 中 含有 dl*d2 个 神经 元 ， 其 元 素 “〈ij) 
表示 神经 元 i 与 神经 元 j 之 问 的 枫 格 距离 。nbgrid( ) 函 数 可 用 于 每 层 最 多 有 5 维 ， 最 多 有 5 
层 的 网 络 ， - 般 而 言 维 数 越 少 ， 收 敛 战 快 。 








可 








参见 无 。 
《3》 nbman 


功能 用 Manhattan 距离 表示 的 邻 域 算 阵 。 
格式 nbman (dl) 
nbman(d1，d2) 
nbman(d1，d2，.…'d5) 
说 明 自 组 织 网 络 中 的 神经 元 可 以 按照 任何 方式 排列 ， 这 种 排列 可 以 用 珍 示 同一 层 神 
经 元 间距 离 的 邻 域 来 描述 。 而 两 神经 元 的 Manhattan 距离 是 指 在 神经 元 坐标 相 减 后 的 矢量 
中 ， 其 元 素 绝对 值 之 和 。 因 此 ，nbman(d1) 返回 - 维 排列 的 dlXdl 的 邻 域 阵 ， 表 示 一 维 
中 含有 dl 个 神经 元 ， 其 元 素 〈ij) 表示 神经 元 i 与 神经 元 j 之 间 的 栅 格 距离 。nbman(dl， 
d2) 返回 二 给 排列 的 〈dlxd2) x(dl*d2) 邻 队 ， 表 示 一 维 中 含有 dl*d2 个 神经 元 ， 其 元 素 
(过 》 表示 神经 元 j 与 神经 元 j 之 间 的 棚 格 距离 。nbman( ) 函 数 可 用 于 每 层 最 多 有 5 维 ， 最 
多 有 5 层 的 网 络 ，--- 般 而 言 维 数 越 少 ， 收 敛 越 快 。 
参见 无 。 
8. 权 值 函数 
negdist 
功能 “对 输入 矢量 进行 加 权 计 算 。 
格式 Z=negdist(WP) 
三 =negdistCderiv) 
说 明 negdist(W.P) 函 数 中 ，W 袁 示 SXR 维权 值 秆 阵 ，P 表示 RXQ 维 输入 矢量 ， 函 
数 返 回 SxR 维 负 人 矢量 距离 矩阵 。 即 ， 


也 = 一 st 一 站 2 








例 程 >.12 利用 negdist 函数 计算 加 权 输 入 。 
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例 程 2-12 





W =randf4,3 
P= rand(3.1): 
和 = negdisttWP) 





执行 完 上 面 的 代码 后 ， 可 得 到 如 下 结 扶 : 
乙 = 
-0.6637 
-0.7414 
-0.6095 
-1.0426 

参见 sim，dotprod，dist。 

9 传递 曾 数 

Compet 

功能 “竞争 传递 函数 。 

格式 A=compettm 

A=compet(z，b) 

说 明 “compet(m 疯 数 将 神经 元 的 网 络 输 入 进行 转换 ， 使 网 络 笨 入 服 大 的 神经 元 输出 为 
1， 而 其 余 的 神经 元 输出 为 0。compet(m 函 数 返回 一 个 输出 矢量 矩阵 ， 其 每 一 列 矢 量 中 仅 
所 售 -个 1， 位 于 阅 络 输入 矢量 n 为 最 大 的 位 置 ， 而 其 余 的 元 索 为 0。compet(z， 匡 函数 用 
于 成 批 处 理 矢 量 、 且 偏差 存在 的 情况 下 ， 储 美 矢 量 b 附加 到 加 权 答 入 矩阵 z 的 每 一 个 矢量 
上 ， 形 成 网 络 输 入 矢 姨 条 咱 n， 然 后 利用 党 争 传递 咕 数 将 输入 矢量 转换 为 输出 矢 世 ， 

参见 sim，softmax， 

10. 绘图 函数 

《1》pletsm 

功能 “绘制 和 组 织 特征 映射 网 络 的 权 值 矢量 。 

格式 plotsmfW，MD)。 

说 明 ”plorsmitW，M) 函 数 给 出 了 占 组 织 网 络 的 图 形 去 示 。 在 双 中 的 每 个 神经 元 的 权 
值 行 矢量 相应 的 坐标 处 绘制 出 一 点 ， 然 后 表示 相 邻 神经 元 权 值 的 点 之 问 根 据 邻 阵 M 用 线 
连接 起 来 。 即 当 MGj) 生 1 时 ， 则 将 神经 元 i 和 j 用 线 连 接 起 来 . 

参见 无 。 

(2) plotsom 

功能 “绘制 自 组 织 特征 映射 网 络 。 

格式 “plotsom(pos) 

plotsom(W，d，ng) 

说 明 “其 中 参数 pos 表示 s 个 n 维 神经 元 的 位 曾 。 Piotsom(pos) 函 数 绘 几 时 ， 用 红色 的 
图 点 表示 神经 元 的 位 曾 ， 用 欧 氏 星 离 1 相连 接 ，plotsom(W，d，nd) 冰 数 中 ，w 表示 权 值 
失 阵 ，d 表示 距离 矩阵 ，nd 表示 邻 域 抵 阵 ， 其 默认 值 为 1。 它 连接 距离 小 于 1 的 神经 元 的 
权 值 失 基 。 
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参见 nmewsom，learnsom，initsom。 


2.6 径 向 基 网 络 神经 网 络 工具 箱 函数 


MATLAB 提供 了 大 量 的 径 向 基 网 络 工具 函数 ， 包 括 网 络 设计 函数 、 权 阔 数 、 网 络 输 
入 函数 、 径 向 基 传递 函数 、 均 方 误 美 性 能 了 艇 数 ， 以 及 变换 范 数 等 。 本 节 将 对 这 些 函 数 的 功 
能 、 调 用 格式 ， 以 及 使 用 方法 做 详细 的 介绍 。 

1 网 络 设计 范 数 

(1) newrmb 

功能 “设计 - -个 径 向 基 网 络 。 

格式 net = newrb(PTGOAL,SPREAD)， 

说 明 用 径 向 基 函 数 网 络 逼 近 郑 数 时 ，newrb 可 自动 增加 径 疝 基 网 络 的 聊 层 神经 元 ， 
直 芭 均 方 误 关 满足 为 止 。 

其 路， 

@ P 输入 矢量 

@@ T 日 标 矢量 

@@ GOAL 均 方 误 益 ， 默 认 时 的 值 =0 

@ SPREAD 径 向 基 函 数 的 分 布 ， 默 认 时 的 值 =1.0 

参见 sjim，newrbe，newgrnm，newpnm。 

《2)》 mnewrbe 

功能 设计 严格 的 径 向 基 网 络 。 

格式 net = newrbe(PTSPREAD)。 

说 明 “用 径 向 基 函数 网 络 逼 近 冰 数 时 ，newrbe 可 迅速 地 设计 一 个 径 向 基 网 络 ， 且 在 
设计 中 误 美 为 0。 

其 中 : 

@ 了? 输入 矢量 

@ T 卓 标 矢 重 

@ GOAL 均 方 误差 ， 默 认 时 的 值 =0 

@@ ”SPREAD 径 癌 基 函 数 的 分 布 ， 默 认 时 的 值 =10 

例 程 2.13 设计 “个 径 向 基 网 络 。 


例 程 2-13 





务 己 知 输 入 和 日 标 矢量 ; 

锡 了 P=i23]; 

免 “ T=[2.04.15.9]; 

名 设计 ` -个 宅 向 基 网 络 ， 

met = newrbfRT); 

免 然后 在 网 络 的 输入 端 输入 一 个 新 的 全 
P= 1.5; 
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名 运用 仿 丰 函数 sim' 
Y= simnetP) 





输出 结果 ; 
Y= 
2.6755 
参见 sim，newrb，newgrnn，newpnn。 
《3)》 newgrnn 
功能 “设计 广义 回归 神经 网 络 。 
格式 net=newgrmn(PTSPREAD)。 
说 明 三 义 回 归 神 经 网 络 (GRNNs) 是 -种 经 常 被 应 用 在 函数 通 近 中 的 径 向 基 网 络 。 
newgrnn 薄 数 可 迅速 设计 GRNNs 网 络 。 
其 中 
号 P 输入 矢量 
鲁 了 工 月 标 撩 量 
@@ ”SPREAD 径 向 基 疯 数 的 分 布 ， 默 认 时 的 值 =1.0 
参见 sim，newrb，newpnn。 
《4)》 newpnn 
功能 “设计 概率 神经 网 络 。 
格式 net = newpnna(PTSPREAD)。 
说 明 ”概率 神经 网 络 十 一 种 适合 于 模式 分 类 的 径 向 基 网 络 。 
其 中: 
@@ P 输入 矢量 
鲁 工 目标 矢量 
三 ”SPREAD 径 向 基 明 数 的 分 布 ， 默 认 叶 的 值 =1.0 
参见 ind2vec，vec2ind，newrb，newrbe，new8grmne 
2. 权 冰 数 
《1) dist 
功能 “Euclidean 距离 权 孙 数 。 
格式 之 = dist(W'P) 
df = disttderiv) 
了 D = dist(Pos)》 
说 明 dist 是 Euclidean 荆 离 权 函 数 。 所 请 权 胃 数 是 给 定 输入 闪 会 得 到 相应 的 权 输 入 。 
两 矢量 系 和 了 之 间 的 Euclidean 距离 D 为 ， 
D = surma((x-y).^2).^0.5 
其 中 : 
曙 网 为 SxR 权 阵 
@ P 为 RxQ 的 Q 列 输入 矢量 
甸 dist(deriv) 返回 '， 因 为 dist 没有 导数 表 数 
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@ Pos 为 神经 元 位 置 阵 
例 程 2-14 定义 - -随机 拓 阵 丈 和 输入 矢量 忆 ， 计 算 要 应 的 权 Z。 


例 程 2-14 





W= rand(4.3]; 
了 P = rand(3,1); 
Z=disttWP) 





执行 上 面 的 代码 后 ， 结 果 如 下 : 
了 = 
0.6791 
0.3994 
0.3234 
0.5746 


参见 dotprod，negdist，normprod，mandist。 
《2) dotprod 
功能 点 积 权 函 数 。 
格式 乙 = dotprod(W'.P) 
df = dotprod(deriv7 
说 明 dotprod 是 点 积 权 曙 数 。 所 谓 权 困 数 是 给 定 输入 而 会 得 到 相应 的 权 输 入 。 
其 中 : 
@@ 到 为 SxXR 权 阵 
@ P 为 RxQ 的 Q 列 输入 矢量 
参见 sim，ddotprod，dist，negdist，normprod。 
(3) normprod 
功能 规范 点 积 权 函 数 。 
格式 Z=normprod(W.P) 
df = normprod(deriv) 
说 明 ”normprod 足 规范 点 积 权 函数 。 所 谓 权 鹃 数 是 给 定 输入 而 会 得 到 相应 的 权 输 入 。 
其 中 ， 
@ 到 为 SxR 权 阵 
@@ P 为 RRxQ 的 Q 列 输入 矢量 
参见 dotprod，negdist，dist。 
3. 网 络 输入 函数 
netprod 
功能 “网络 输入 的 积 嚼 数 。 
格式 N = netprod(Z1.Z2…》 
df = netprod(deriv) 
说 明 netprod 是 网 络 输 入 的 积 函 数 ， 网 络 输入 函数 结合 它 的 加 权 输 入 和 疝 值 计算 一 
妓 的 网 络 输出 。 


eemseemm 2。 = 
rpprRVPP 


RE 
第 2 章 ， 神经 网 络 工具 箱 函 数 及 实例 司 NMATLA 人 路 全 CE 


其 中 : 
曙 Zi SxQ 维 算 阵 
量 ”Netprod(denv) 返 朵 netpred 的 导数 函数 
参 匈 network/sim，dnetprod，mnetsum，concur。 
4 径 向 基 传递 国 数 
Tadbas 
功能 径 向 基 传递 函数 。 
格式 A=radhas(N) 
info = tadbas(code) 
说 明 radbas 是 从 向 基 传 递 函 数 ， 次 落 数 可 由 它 的 网 络 输 入 计算 - 层 的 输出 。 
其 中 ; 
@@ N 网 络 输入 矢量 矩阵 
量 ”Radbas(deriv) 范 数 可 返回 如 下 - 些 有 用 的 信息 : 
> "deriv 返回 导数 函数 名 称 
> mame' 返回 全 名 
> "output 返 问答 出 范 轩 
> active。 返 门 激活 输入 范围 
2- 





例 程 2-15 运用 plot 命令 灿 察 radbas 传递 本 数 的 运行 结果 。 
例 程 2.15 
= -5:0.1:3; 
a=radpasfn). 
ptet(n.a) 





项 行 完 上 而 的 代码 ， 其 结果 如 图 2.9 所 泵 。 


司 2-9 radbas 传递 函数 的 运行 结果 
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参见 sim，rribas，dradbas。 
5. 均 方 误 差 性 能 函数 
Imse 
功能 均 方 误差 性能 细 数 ， 
格式 ”perf = mse(e,x,pp) 
perf = mse(enebpp) 
info = mse(code) 
说 明 mse 是 网 络 御 能 函数 ， 此 函数 可 按照 均 方 误差 测量 网 络 性 能 。 其 中 : 
@@ 。 为 误 美 矢 量 
x ”为 所 有 权 值 和 阔 值 组 成 的 矢量 
pp ”为 性 能 参数 
net ”为 所 有 权 值 和 阔 值 能 组 成 失 记 x 的 神经 网 络 
mse(code) 通 数 可 返回 如 下 一 些 有 用 的 信息 ; 
> deriv 为 返回 导数 吗 数 名 称 
'mame' 为 返回 全 名 
pnames' 为 返 上 加 训练 参数 名 
"Pdefaults。 为 返回 缺少 的 训练 参数 名 

参见 msereg，mae，dmse。 

6. 变换 函数 

(1) ind2vec 

功能 “将 下 标 变换 成 单 值 矢 量 组 。 

格式 vec =ind2vecfind)。 

说 明 ind2vec 昂 数 输入 为 包含 mn 个 下 标的 行 矢量 x(<=D， 调 用 后 可 得 到 首 行 n 列 的 
矢量 组 矩阵 ， 结 果 是 矩阵 中 的 每 个 矢量 I[， 除 了 昌 x 中 的 第 工 个 元 素 指 定 的 位 置 为 1 外 ， 
其 余 元 素 为 0， 结果 拖 阵 的 行 数 m 等 于 工 中 最 大 的 下 标 值 。 

例如 ， 定 义 一 下 标 行 矢量 ， 利 用 iad2vec 函数 建 起 转换 成 音信 矢量 。 
ind=f13231; 
vec = ind2vectind) 
执行 完 上 面 的 代码 后 ， 其 结果 如 
vec = 
(5D 1 
G2 1 
{23) 工 
(3.0 了 

参见 vec2ind。 

(2) vec2ind 

功能 “将 单 值 矢量 纽 变换 成 下 标 矢量 。 

格式 ind = vec2ind(vec)。 

说 明 vec2ind 和 ind2vec 互 为 道 变化 ，vec2ind 函数 输入 为 一 个 严 行 n 列 矢量 答 阵 x， 
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调用 后 可 得 到 nm 个 下 标 值 大 小 等 二 0 的 行 矢 量 ，X 中 的 每 个 矢量 工 除 包含 一 个 1 外 ， 其 余 
均 为 0， 得 到 的 行 矢量 包括 这 些 非 零 元 素 的 下 标 。 
参见 ind2vec。 


2.7 回归 网 络 的 神经 网 络 工具 箱 函数 


MATLAB 提供 了 两 大 类 问 归 网 络 耳 其 吨 数 ， 即 Hopfietd 神经 网 络 和 Elman 神经 网 络 ， 
本 节 将 对 这 些 枯 数 的 功能 、 调 用 格式 ， 以 及 使 用 方法 做 详细 的 介绍 。 


2.7.1 Hopfield 神经 疯 络 的 工具 箱 函 数 


Hopfield 神经 网 络 的 工具 箱 函 数 包括 网 络 郑 数 和 传递 函数 。 

{. 网 络 冰 数 

Tewhop 

功能 设计 -个 Hopfield 回归 网 络 。 

格式 net = newhopfT)。 

说 明 ”Hopfield 神经 网 络 经 常 被 应 用 于 模式 的 联想 记忆 中 。Hopfield 神经 网 络 仅 有 - 
尼 ， 其 输入 用 netsum 函数 ， 权 肯 数 用 dotprod 未 数 ， 传 递 函 数 用 satlins 函数 。 层 中 的 神经 
元 有 来 自 它 自身 的 连接 权 和 阔 值 。 其 中 了 是 四 标 矢量 。 

例 程 2-16 设计 - -个 Hopfield 神经 网 络 - 


例 程 2.16 ”设计 一 个 Hopfield 神经 网 络 


名 其 时 标 矢 量 T 为 

T=LI1-1131-11; 

met = newhop(T); 

名 下 而 检验 上 述 这 个 网 络 是 否 稳 定 在 这 些 点 上 
Ai= 芋 

[TYPEAB = simnet2,.Ai 











运行 结果 如 下 : 
Y= 
1 
-4 
1 1 
Pf= 
L 1] 
AT= 
1 
-1 -4! 
1 4 


参见 sim，satiins。 
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2. 传递 函数 


Satlins 

功能 “对 称 侈 和 线性 传递 函数 。 

格式 A=satins(N) 

into = satlins(code) 

说 明 对称 饱和 线性 依 递 函数 ， 传 递 函数 由 从 网 络 的 输入 计算 一 层 的 输出 。Satlins 函 
数 的 算法 如 下 ; 

@ 当 N 坟 一 ! 时 ，satlins()= 一 1。 

和 当 一 ISN 三 1 时 ，satlins(N)=N。 

熏 当 1<N 时 ，satlins(ND=1。 














其 中 N 为 网 络 的 输入 矢量 。 
Satlins(code) 返 加 如 下 信息 : 

量 deriv 返回 导数 且 数 名 称 
鲁 ”mame' 返 思 全 名 

@ output 返回 输出 范围 

和 active'” 返回 激活 输入 范围 

















例 程 2-17 绘制 satlins 函数 。 
例 程 2.17 





= -5:0.1.3; 
a = satlins(n); 


plottn.a) 





输出 如 图 2-10 所 未 。 


人 一 克 


5 4 


图 2-10 绘制 satlins 函数 


参见 sim，satliin，poslin，purelin。 
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2.7.2 Elman 神经 网 络 的 工具 箱 困 数 


hewelm 

功能 生成 个 Elhman 递归 网 络 。 

格式 “net = newelm(PR.[S1 S2...SNH,{TFI TF2..TFNL},BTFEBLEPP)。 

说 明 Elman 神经 网 络 由 N1 层 组 成 ， 其 权 图 数 用 dotprod 男 数 ， 输 入 图 数 用 netsum 

函数 ， 以 及 用 - - 些 特殊 的 胃 数 作为 其 传递 尔 数 。 每 层 权 和 阅 值 初始 化 用 inimw - 

其 帆 ， 

@ PR 为 输入 元 素 的 最 大 和 最 小 值 的 孟 〈 其 维 数 为 : RX2) 

曙 Si 为 第 T 层 的 传递 明 数 ， 默 认 时 =tansig' 

@ BTF 为 反 向 传播 网 络 的 训练 次 数 CBTEF 可 以 是 traingd, traingdm,traingda,traingdx 
等 轴 数 )， 默 认 时 =traingdx 

@  BLF 为 反 向 传播 权 / 竟 值 学 习 明 数 〈《BLE 可 以 是 learmgd，leamgdm)， 呐 兴 时 
=leamgdm 

@@ PF 为 性 能 分 析 函 数 〔PF 可 以 是 mse 或 msereg)， 默 认 时 =mse' 


参见 newff，newcf，sim，init，adapt，train 。 


第 3 章 前 向 型 神经 网 络 理论 及 实例 


前 向 型 神经 网 络 是 到 个 神经 网 络 体系 中 最 常见 的 “种 网 络 结构 ， 其 网 络 中 各 个 神 经 皂 
接受 前 “级 的 得 入， 并 输出 到 下 一 线 ， 网 络 中 没有 反馈 ， 可 以 用 “个 有 疝 大 环 路 图 表示 。 
这 种 网 络 实现 信号 从 输入 空间 到 输出 空间 的 变换 ， 它 的 信息 处 理 能 力 来 昌 二 简单 非 线性 函 
数 的 多 次 复合 。 它 的 网 络 结构 简单 ， 九 于 实现 。 本 章 将 对 前 向 型 神经 网 络 的 相关 理论 进行 
详细 的 介绍 。 

本 章 主 要 内 容 包括 ， 

龟 感知 器 网 络 
BP 网 络 
线性 神经 网 络 
径 向 基 函 数 网 络 
GMDH 网 络 


3.1 ”感知 器 网 络 


感知 器 (Perceptron) 是 山 美 国学 者 岁 森 布 拉 特 〈FRosenblatt) 于 1957 年 提出 的 ， 它 
的 日 的 是 为 了 模拟 人 脑 的 感知 和 学 习 能 力 。 和 感知 器 是 最 早 强 出 的 - -种 神经 网 络 模型 。 

早期 的 研究 人 员 试 图 用 感知 器 模拟 人 随 的 感知 特征 ， 但 后 来 发 现 感知 器 的 学 习 能 力 有 
很 大 的 局 限 性 〈 如 只 能 对 线性 可 分 的 输入 向量 进行 分 类 )， 以 全 十 人 们 对 它 的 能 力 和 应 用 
前 景 得 出 了 十 分 此 观 的 结论 。 尽管 如 此 , 这 种 神经 网 络 模型 的 出 现 划 早期 神经 网 络 的 研究 ， 
以 及 后 来 许多 神经 网 络 的 出 现 产生 了 极 大 的 影响 。 就 日 前 米 看 ， 它 仍然 是 -- 种 很 有 用 的 神 
经 列 络 模型 。 感 知 器 特别 适用 十 简单 的 模式 分 类 问题 。 


3.1.1 感知 器 模型 


感知 器 是 最 基本 的 但 具有 学 习 功 能 的 层 状 网 络 〈Layed network)。 最 初 的 感知 器 有 二 
层 即 S〈Sensory) 层 、A Association) 层 和 R (Response) 层 组 成 ， 如 图 3-1 所 示 。S 层 
和 A 层 之 间 的 耦 台 是 固定 的 ， 只 有 A 居 和 R 层 之 间 的 左 合 程 度 〔( 即 权 值 》 可 通过 学 习 改 
变 。 本 小 节 只 讨论 当 R 层 〈 即 输出 层 ) 只 有 - 个 节点 的 感知 器 时 ， 它 相当 于 单个 神经 元 ， 
简化 结果 如 图 3-2 所 示 。 但 输入 的 加 权 和 大 十 或 等 于 疝 值 时 ， 感 知 器 的 箱 出 为 1， 或 者 为 
0 或 一 1， 因 此 它 可 用 于 天 类 模式 的 分 类 。 当 两 类 模式 可 用 “个 超 平面 分 开 即 线性 可 分 时 ， 
权 值 mw 在 学 习 中 一 定 收 敏 ， 反 之 ， 则 不 收敛 。Minsky 和 Papert 兽 对 感知 器 的 分 类 能 力 做 
了 严格 的 评价 ， 并 指出 了 它 的 局 限 性 ， 例 如 它 连 最 常用 的 异 或 〈XOR ) 逻辑 运算 部 无 法 实 
现 
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放 3.2 ”简化 感知 器 


【定理 3.1】 假定 隐 层 的 节点 可 以 根据 需要 任意 设置 ， 那 么 用 三 层 〈 不 包括 $ 层 》 的 
冰 值 网 络 可 以 实现 任意 的 二 值 远 辑 函 数 。 
值得 注意 的 是 ， 感 知 器 学 习 方法 在 函数 不 是 线性 可 分 时 ， 得 不 出 任何 结果 ， 另 外 也 不 
能 推广 到 - - 般 的 前 向 网 络 中 去 。 其 主要 藉 风 是 传递 函数 为 阔 值 函数 ， 为 此 人 们 用 可 徽 应 数 
如 Sigmoid 曲线 来 代 殖 阔 值 函数 ， 然 后 采用 梯度 算法 来 修正 权 信 。BP 赔 络 就 是 这 样 算法 
的 典型 网 络 。 
MATLAB 6.5 提供 的 -种 线性 曾 值 单元 为 hardtim。 
例如 ， 建 立 一 个 hardlim 传递 函数 并 且 打 印 出 该 图 形 ， 如 财 3-3 所 示 。 
n=-5:0.1:S; 
apardirntn: 
Pottn,a) 








_ sa mananuaizxi RATLAE ES 
1 
0.8 
0.6 
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3-3 hardlim 传递 函数 


3.1.2 ”感知 器 神经 元 网 络 的 网 络 结构 


图 3-4 描述 了 感知 器 神经 元 网 络 结构 的 贞 种 形式 。 感 知 器 神经 元 网 络 是 出 hardim 产 
生 的 符号 函数 立 值 元 件 组 成 的 ， 该 网 络 是 由 单 层 的 个 神经 元 构成 的 。 网 络 有 丸 个 输入 ， 
通过 -组 权 值 w(t 间 与 8 个 神经 元 组 成 ， 网 络 的 输出 为 3 个。 








aa 人) 
pz[ | 加 
只 
Rxi 人 
SxR Sxl 
at2 二 二 | 
| 
| -一 ~ [| 
TY 一 
5 
afS) 








图 3-4 ”感知 器 神经 元 结构 


从 图 3.4 可 以 看 出 ， 感 知 器 神经 网 络 只 有 一 慨 神经 元 ， 这 是 因为 感知 器 的 学 习 规 则 只 
能 训练 单 层 网 络 ， 根 据 网 络 结 移 ， 可 以 写 出 第 ;个 输出 神经 元 〈 守 = 上.…8 ) 的 输出 : 





丽 
naD=wG 六 xpCD+bG 
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<D= PCD] 


感知 器 中 使 用 了 符号 阅 值 落 数 单元 ， 因 此 使 感知 器 能 够 将 输入 向 量 分 为 两 个 区 域 ， 则 
有 : 


、 几 np>o 
“0 | 7DD<0 


当 输入 下 站 冯 0 时 ， 感 知 器 输出 af 有 为 1、 否则 af 输出 为 0 


3.1.3 ”感知 器 神经 网 络 的 初始 化 


进行 程序 设计 的 第 一 步 就 是 初始 化 ， 对 感知 器 神经 网 络 的 初始 化 可 采用 MATLAB 6.5 
神经 网 络 工具 箱 中 的 init( ) 函 数 。 使 用 initne0 函 数 可 以 得 划一 个 已 初始 化 的 神经 网 络 ， 该 
网 络 的 权 值 和 阔 值 是 按照 网 络 初始 化 函数 来 进行 调整 的 ， 而 网 络 的 初始 化 函数 是 由 
NETinitFcn 设 定 的 ， 其 参数 是 由 NetinitParam 指定 的 。 初 始 化 函数 的 用 法 为 : 


net=initneD) 
MATLAB 6.5 工具 函数 中 的 newp 函数 可 以 生成 个 感知 器 网 络 ， 其 中 使 用 了 上 述 语 
名 对 网 络 net 进行 初始 化 。 


3.1.4 ”感知 器 神经 网 络 的 学 习 规 则 


学 习 规则 是 用 来 计算 网 络 的 新 的 权 值 和 阔 值 的 算法 ， 感 知 器 利用 其 学 习 规则 来 调整 网 
络 的 权 值 和 阔 值 ， 使 该 网 络 的 输出 最 终 达 公有 目标 的 期 望 值 。 

对 于 输入 向 量 严 ， 输 出 向 量 we， 日 杯 矢量 为 上 的 感知 器 ， 该 感知 器 的 学 习 误差 为 e， 
则 e = 上 一 @a。 此 时 感知 器 的 权 值 与 阔 值 修正 公式 为 : 





Anw 人 六 =ED-aD*p 六 =eD* PC 
Ab 人 =[DD-aGD]*1=eGD*1 


式 中 =12,8 ， 了 =12…, 民 ， 则 更 新 的 权 值 与 阅 值 为 : 
人 方 = mr 用 +AwG 用 
(= 及 站 +Ab(D 


用 犯 阵 来 表示 相应 的 权 值 与 阅 值 更 新 公式 : 
苏 二 人 十 @ 站 万 了 
访 = 疡 +e 
感知 器 的 学 习 规 则 属于 梯度 下 作 法 ， 该 法 则 已 被 证 明 ;， 如 果 能 存 企 ， 这 算法 在 有 相持 
的 循环 选 代 后 可 以 收敛 到 正确 的 目标 矢量 。 


eareema 各。 mm 


一 ss hpanensaeasy a MATLAB 6.5 





在 MATLAB 65 的 神经 网络 工具 箱 中 , 感知 器 的 学 习 规则 可 用 函数 learnp( ?和 iearnpn( ) 
实现 。 其 使 用 格式 分 乔 为 : 
但 W'LS] = leamp(WRZNATE,SWSA:DILPLS) 
idW:LS] = jearmpn(WPZ,NA,TE.SWEA, DLPLS) 
例如 ,在 2 个 输入 、3 个 神经 元 的 网 络 中 ， 定 义 一 个 随机 输入 玉 和 误 头 e ， 来 计算 网 
络 权 值 的 改变 ; 
p= rand(2.1; 
e= rand(3,1): 
dW = leampn([hp0GLLDeD.UJLINID) 
结果 如 下 ， 
dW =f4122 0.1003 
0.3301 .0803 
0.6055 0.1433 


3.1.5 ”感知 器 神经 网 络 的 训练 


神经 网 络 在 应 用 之 前 必须 经 过 训练 ， 由 此 决定 网 络 的 权 值 和 逆 值 。 感 知 器 的 训练 过 程 
为 : 
对 士 给 定 的 输入 向 量 忆 ， 计 算 网 络 的 实际 输出 为 &， 并 壮 相 应 的 日 标 向 量 ! 进 行 比较 ， 
用 得 到 的 误差 e ， 根 据 学 习 规则 进行 权 值 禾 值 的 调整 重新 计算 网 络 在 新 色 值 作用 下 的 
笨 入 ， 重 复权 值 调 整 过 程 ， 上 到 网 络 的 输出 与 有 杯 值 相等 或 者 训练 的 次 数 达到 协 想 设 定 的 
最 大 值 时 结束 训练 。 

经 过 训练 的 网 络 需要 验证 其 是 全 能 够 这 到 要 求 〔 即 网 络 是 否 训练 成 功 )。 若 网 络 训练 
成 功 ， 孝 么 训练 后 的 网 络 对 于 被 训练 的 每 - 组 输入 向 其 都 能 产生 -- 组 对 应 的 期 望 输出 ; 若 
在 给 定 的 最 大 训练 次 数 内 ， 网 络 未 能 完成 在 给 定 输 入 向 量 王 的 作用 上 下， 满足 & = 上 的 要求 ， 
那么 可 以 道 加 训练 的 人 次数， 继续 训 练 网 络 ; 若 在 足够 多 次 的 训 缘 后 ， 网 络 仍然 达 不 到 此 求 ， 
那么 需要 分 析 一 下， 感知 器 神经 网 络 是 窜 适 合 解决 目前 这 个 问题 ， 感 知 器 并 非 适用 寺 任 何 





分 类 问题 。 
在 MATLAB 6.5 的 神经 网 络 工具 箱 中 ， 感 知 器 的 训练 函数 为 adaptwb( ) 和 tainwb()， 
其 使 用 格式 分 别 为 : 


[neLAc,EI] = adaptwb(neLPdTAiQ,TS) 
[nettr| = trainwbneLPd,TLAiQ,TS.VV) 


3.1.6 ”感知 器 的 局 限 性 


由 于 感知 器 神经 网 络 在 结构 和 学 习 规 则 上 的 局 限 性 ， 其 应 用 被 跟 制 在 “ 定 的 范围 。 “ 
般 米 说 ， 感 知 器 有 以 下 局 限 性 : 
人 。 由 于 感知 器 的 激活 函数 是 阔 值 函数 ， 则 感知 器 神经 网 络 的 输 山 只 能 取 0 或 1。 内 
此 感知 器 只 能 适 玄 于 简单 的 分 类 问题 。 
成 知 器 神经 网 络 只 能 对 线性 可 分 的 向 晤 集合 进行 分 类 。 理 论 -上 已经 证 明 ， 只 要 输 
入 向 量 是 线 件 可 分 的 ， 感 知 器 在 有 限 的 时 间 内 总 能 达到 肯 标 向 量 。 但 是 如 何 全 定 


am 63 


oo 
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和 输入 向 量 是 否 线 性 可 分 ， 尤 其 当 输入 向 量 增 多 时 ， 更 难以 确定 。 - 般 只 有 设置 -- 
定 的 循环 次 数 ， 对 网 络 进行 训练 而 判定 它 古 否 能 被 线性 可 分 。 
@@。” 当 感知 器 神经 网 络 的 所 有 输入 样本 中 存在 奇 措 的 样本 ， 即 该 样本 向 量 同 其 他 所 有 
的 样本 向 量 比较 起 来 特 草 大 或 特别 小 时 ， 网 络 训练 花费 的 时 间 将 很 长 。 
例如 ， 输 入 和 目标 向 重 分 别 为 : 
p=[L05-0503 -0.1-80:-0505-05101001:t=0 1001: 
由 于 输入 的 第 五 组 数 远 远大 十 其 他 输入 数据 ， 这 必然 导致 训练 的 困难 ， 解 决 此 问题 的 
方法 是 采 才 标准 化 感知 器 学 习 规 则 。 在 神经 网 络 工具 箱 中 ， 实 现 标准 化 感知 器 学 习 规 则 的 
函数 是 Jeampn( )。 


3.17 ”多 层 感 知 器 
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为 了 解决 单 层 感知 器 的 局 限 性 ，20 世纪 60 年 代 本 人 们 致力 于 该 问题 的 研究 。 并 找到 
了 解决 的 方法 一 一 采用 多 层 网 络 结 爸 。 这 样 ， 对 于 单 层 感知 器 解决 不 了 的 “ 异 或 ”问题 ， 
可 以 用 两 层 网 络 结构 得 以 解决 。 如 图 3-5 所 未 为 -种 常用 的 双 层 感知 器 神经 网 络 。 其 第 - 
层 是 随机 感知 层 ， 第 二 层 为 学 习 感 知 层 ， 






他 3 
asD2GS 他 
中 才 


1 炎 工 








32x1 





略 3-5 双 层 域 知 粥 网络 结构 聊 


3.2 BP 网 络 


学 者 Rumelhart 和 MeClelland 与 他 们 的 亲 事 认识 色 了 神经 元 网 络 在 信息 处 理 方面 的 重 
要 性 ， 于 1982 年 成 立 了 PDP 小 组 ， 研 究 半 行 分 布 式 式 信息 处 于 方法 ， 探 索 人 类 认 知 的 币 
结构 。1986 第 Rumelhart，Hinton 和 Wiliams 完整 而 简明 地 提出 种 ANN 的 误差 反 疝 传 
播 训练 算法 〔 简 称 BP 算法 )， 系 综 地 解决 了 多 层 网 络 中 隐 含 单元 连接 公 的 学 习 问题 ， 还 
对 其 能 力 和 潜力 进行 了 探讨 。 

目前 ， 在 人 工 神经 网 络 的 实际 应 用 中 ， 绝 大 部 分 的 神经 网 络 模型 是 采用 BP 网 络 和 它 
的 变化 形式 ， 它 也 是 前 向 网 络 的 核心 部 分 ， 并 体现 了 人 工 神经 网 络 最 精华 的 部 分 。 

BP 网 络 主 归 应 用 十 : 

@。 函数 通 近 “用 输入 矢量 和 相应 的 输出 矢量 训练 一 个 网 络 丙 近 一 个 通 数 。 

@ ”模式 识别 “用 - -个 特定 的 输出 矢量 将 它 与 输入 矢量 联系 起 来 。 





Erremaemmr 人 4。。 wmm 
rr 





900 
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里 “分 类 ”把 输入 父 寺 以 所 定义 的 人 台 适 方式 进行 分 类 - 
昌 ”数据 正 贬 ”减少 答 出 失 基 维 煞 以 全 于 传输 或 在 竺 。 


3.2.1 BP 网 络 结构 


BP 网 络 (Backpropagation NN)》 是 … 种 单 向 传播 的 多 层 前 向 网 络 ， 其 结构 如 图 3-6 所 
示 。 网 络 除 答 入 输出 节点 外 ， 还 有 ” 层 成 多 层 的 隐 层 节 心 ， 同 层 节点 中 没有 任何 艳 侣 。 答 
入 信号 从 输入 层 节 点 依次 传 过 各 隐 层 节点， 然后 传 到 输出 节点 ， 每 一 居 节点 的 输出 具 影 响 
下 一 层 节点 的 输出 。 其 节点 单元 特性 〈 传 递 咕 数 ) 通常 为 Sigmoid 型 (fo)=UUI+exp(- 
Bx))B>0， 但 在 输出 层 中 ， 











节点 的 单元 特 尾 有 有 尼 为 线性 ， 





疼 3-6 BP 网 络 

BP 网 络 可 看 做 是 -个 从 输入 到 输出 的 高 度 目 线性 映射 ， 即 严 : 及 "一 展 ”， 

FPCX) = 了 。 对 十 样本 集合 : 输入 5(E 及 ) 和 输出 六 全 民 )， 可 认为 存在 基 - 英 射 8 使 ， 
有 (区 ) 二 并.2 玫 

现 要 求 求 出 一 映射 ， 使 街 在 某 种 意义 上 通常 是 最 小 二 乘 意义 下 )， 了 是 8 的 最 佳 
损 近 。 神 经 网 络 通过 对 简单 的 非 线 忻 函 数 进行 数 次 复合 ， 可 过 羽 复 杀 的 两 数 . 

下 面 介绍 Kolmogoroy 定 即 ， 即 映射 网 络 在 在 定型 。 

【定理 3.2，Kolmogoroy 定理 】 给 定 任 一 连续 函数 了 :1 一 R, 帮 X)= 了 7， 这 里 


也 是 闭 单位 区 间 [0.1]， 可 以 精确 地 用 一 个 三 层 前 向 网 络 实现 ， 次 网 络 的 第 一 层 ( 即 输 


入 层 )》 有 产 个 处 理 单元 ， 中 间 层 有 27 +1 个 处 理 单元 ， 第 三 层 〈 即 输出 层 ) 有 冉 个 处 理 单 
元 。 

尽管 Kotmogoroy 完 理 保证 任 一 连续 函数 由 由 -个 三 层 前 向 网 络 米 实 中 但 它 没有 提 
供 笨 何 构造 这 样 -个 网 络 的 可 行 方法 。 下 鲁 给 出 BP 定理 ， 在 BP 网 络 中 它 可 在任 意 希望 
的 精度 上 实现 任意 的 连续 函数 。 


【定理 3.3: BP 定理 】 给 定 任意 & > 0 和 任意 疡 函数 六:[0.1] 一 尺 ”， 存 在 一 个 三 
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层 BP 网 络 ， 它 可 在 任意 平方 误差 精度 内 逼近 矿 。 


虽然 BP 定理 告诉 我 们 ， 只 要 用 :=: 层 的 BP 网 络 就 可 实现 7 函数 ， 但 实际 上 ， 还 是 有 
必要 使 用 更 多 层 的 BP 网 络 ， 其 原因 是 用 一 层 BP 网 络 来 实现 声 冰 数 ， 往 往 需 要 大 量 的 隐 
层 节 点 ， 而 使 用 多 娠 网 络 可 减少 隐 层 节 反 数 。 但 如 何 选取 网 络 的 隐 层 数 利 节点 数 ， 还 没有 
确切 的 方法 和 理论 ， 通 常 是 赁 对 学 习 样本 镍 测试 样本 的 误 益 交 叉 评价 的 试 错 法 选取 。 
3.2.2 BP 算法 的 数学 描述 

基于 BP 算法 的 多 层 前 镶 型 网 络 的 结 习 见 图 3-7。 


误差 反 传 学 习 算法 7 
一 -一 一 人 一 


一 厂 一 1 
1 





十 ”期望 输出 
向 景 (导师 信号 ) 





图 3-7 基于 BP 算法 的 神经 元 网 络 的 结构 


这 各 网络 不 仅 有 输入 节点 、 输 出 节点 ， 而 且 还 有 - 尼 或 多 层 隐 含 节点 。 对 于 输入 信息 ， 
要 先 向 前 传播 到 隐 含 层 的 节点 上 ， 经 过 各 单元 的 特性 为 Sigmoid 型 的 激活 示 数 《又 称 作用 
函数 、 转 换 函 数 或 吴 射 函 数 等 》 运算 后 ， 把 隐 含 节点 的 输出 信息 传播 到 输出 节点 ， 最 后 给 
出 输出 结果 。 网 络 的 学 习 过 程 出 正 向 和 反 向 传播 两 部 分 组 成 。 在 正 向 传播 过 程 中 ， 每 一 层 
神经 元 的 状态 只 影响 到 下 -… 屋 神经 元 网 络 。 如 果 输 出 层 不 能 得 到 期 望 输出 ， 就 是 实际 输出 
信 与 期 望 输出 值 之 间 有 误差 ， 那么 转 入 反 向 传播 过 程 , 将 误差 信号 沿 原来 的 连接 通路 返回 ， 
通过 修改 各 层 神 经 元 的 权 值 ， 逐 次 地 向 输入 层 传播 去 进行 计算 ， 和 再 经 过 正 向 传播 过 程 ， 这 
两 个 过 程 的 反复 运用 ， 使 得 误差 信 呈 最小。 实际 上 ， 误 差 达到 人 们 所 希望 的 要 求 时 ， 网 络 
的 学 习 过 程 就 结束 。 

BP 算法 是 在 导师 指导 下 ， 适 合 于 多 层 神经 元 网 络 的 -种 学 习 ， 它 是 建立 在 梯度 下 降 
法 的 基础 上 的 。 

设 舍 有 共 卫 层 和 闭 个 节点 的 -个 任意 网 络 ， 每 层 单 元 只 接受 前 -- 层 的 输出 信息 并 输出 
给 下 一 层 各 单元 ， 各 节点 〈 和 有 时 称 单元 ) 的 特性 为 Sigmoid 型 〈 它 是 连续 可 微 的， 不 同 于 
感知 器 中 的 线性 阔 值 函数 ， 因 为 它 是 不 连续 的 )。 为 简单 起 见 ， 认 为 网 络 只 有 一 个 输出 了 。 
设 给 定 N 个 祥 本 《xi ) (=12，.N )， 任 个 节点 ;的 输出 为 0 ， 对 某 一 个 输入 
为 二， 网络 的 笨 测 交 ， 节 点 ;的 输出 为 De ， 现 在 研究 第 ! 层 的 第 了 个 单元 ， 当 笨 入 第 天 
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个 样本 时 ， 节 点 了 的 输入 为 : 
Pen = 之 WO ， OO 各 才 示 1 一 1 层 ， 输 入 第 灶 个 样本 时 ， 第 六 个 单元 节点 的 输出; 


Ox = gaet) 


使 用 误 羌 范 数 为 平方 型 
=32Gv 一 
y 六 是 单元 ) 的 实际 答 出 。 总 误 关 为 ， 
1 中 
已 = 一 -人 已 
这 立 
3E 
net 
9E， 95，9nerk 95， 





OO 亿 








Di; 3 9w; 3 

下 面 分 两 种 情况 来 讨论 ， 

日 若 节 点 /为 答 出 单元 ， 则 OA = ? 
3 9E， 3 


=-(5 -yuet) 








Dety 3 Dnetx 

晶 车 节点 了 不 为 输出 单元 ， 则 
9， _ 8 30 _ BE 
”net 80 9ne 欣 - 














Caetz) 


式 中 O% 是 送 到 下 一 层 (+ 卫 的 输入 ， 计算 3 要 从 人 士 匡 层 算 回来 ， 


该 





人 
9 9met 9 WA 了 

_ _ 。 Bo 

这 -之 和 30 = 之 了 ef 人 “ = 之 


由 以 上 两 式 可 以 得 到 : 
= 5 Gaety) 
现在 ， 反 向 传播 算法 的 步骤 可 概括 如 下 ， 
(1)》 选 定 权 系 数 初 值 ; 
《2) 重复 下 述 过 程 直到 收敛 ， 
作对 上 =1 划 闪 


让 向 过 程 计算 ， 计 算 每 层 各 单元 的 DO ， Pet 和 了 Ji， 大 = 2 
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反 向 过 程 距 算 ， 对 各 层 〈! = 工 一 1 到 2 )， 对 每 层 各 单元 ， 计 算 8 
儿 ”修正 权 值 





上 用 为 步 长 ， 其 中 -全 = 一 


3.2.3_BP 网 络 中 的 神经 元 模型 


辆 3-8 给 出 一 个 基本 的 神经 元 模型 ， 它 只 有 尺 个 输入 ， 等 个 输入 都 通过 个 适当 的 权 
值 风 与 神经 元 相连 ， 神 经 元 的 输出 可 表示 成 : 














G= VD 
PC 、 吧 511 
PC2) 
= 2 
PC3) 
灵 司 岂 《ER) 亿 


工 
图 3-8 ”基本 的 神经 元 模型 


BP 网 络 中 基本 神经 元 的 激活 函数 必须 处 处 可 徽 ， 所 以 ， 经 常 使 用 的 是 S 型 的 对 数 或 


3.2.4 BP 网 络 的 训练 过 程 





为 了 应 用 神经 网 络 ， 在 选 定 所 要 设计 的 神经 网 络 的 结构 之 后 〈 其 中 包括 的 内 容 有 网 络 
的 层 数 、 每 层 所 含 神经 元 的 个 数 和 神经 元 的 激活 函数 )， 首 先 应 考虑 神经 网 络 的 训练 过 程 。 
下 面 用 两 层 神经 网 络 为 例 来 叙述 BP 网 络 的 训练 步骤 

步骤 1; 用 小 的 随机 数 对 每 一 层 的 权 值 w 和 偏差 妃 初 始 化 ， 以 保证 网 络 不 被 大 的 加 权 
输入 饱和 ， 同 时 还 要 进行 以 下 参数 的 设 定 或 初始 化 : 

@ 。 设 定期 望 误 盖 最 小 值 ， err _ 8oout 

@@。” 设 定 最 大 循环 次 数 ， max_epocP 

@@ ”设置 修正 权 值 的 学 习 速率 ; 一 般 选 取 玉 = 0.01 一 07 

@ 从 1 开始 的 循环 训练 : 包 r_epocp=1:Imax_epoc 大 

步骤 2:， 计算 网 络 各 层 输出 矢量 41 和 42， 以 及 网 络 误差 五 : 





68 mm 
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=tangSig(lsPD1D; 
MA2= Piretinfw2#+ 1,52); 
五 = 了 一 由 
本 3: 计算 各 层 芭 向 传播 的 误差 变化 DP2 和 如 1 ， 并 计算 各 层 权 值 的 修正 但 及 新 的 
万 2 = deitdim(42. 天 ) 
1 = deiialan(41D2.w2); 
[aolapn= iearrpp(P, DLLDr)i 
[qdw2,dp2]= Fearmpp(A1LD2,1) 
W1=wlL+dwlil=al+cBpE 
WwW2=V2+dn2;82 = 了 2+dB2; 
步 野 4:， 开 次 计算 权 值 修 趾 后 的 误差 平 亡 和 : 
SS = SU103GF(T 一 Parelina(2*tans 训 (ly PP,BD]),D2))， 
步 最 5: 检查 SS 巨 是 知 小 二 err 8oal ， 若 足 ， 则 训练 结束 ， 否 则 继续 。 
以 上 就 是 BP 网 络 利 用 MATLAB 神经 网 络 上 具 箱 训练 的 过 程 。 以 上 所 有 的 学 习 规 则 
与 训练 的 全 过 程 ， 还 可 以 用 六 数 zreapp 来 代 赫 。 它 的 使 用 同样 雷 要 定义 及 关 人 参数 : 显 不 
间隔 次 数 、 最 大 循环 次 数 、 日 标 误 基 和 学 习 速 率 ， 人 在 调用 trainpp 表 数 后 ， 返 回 计 练 乒 的 
权 值 、 循 坏 训练 的 总 数 和 最 终 认养 . 





3.2.5 BP 算法 的 改进 


在 实际 应 用 直 ， 原 始 的 BP 算法 很 难 肚 任 ， 因 此 出 现 了 很 多 的 改进 算法 。BP 算法 的 
改进 上 上 此 有 两 种 途径 ， 一 示 是 采用 启发 式 学 习 方法 ， 另 -种 则 是 采用 更 有 有效 的 优化 算法 。 

在 神经 网 络 工具 箱 中 ， 两 数 frainppx( ) 采用 动量 法 和 学 习 速 率 自 适 训 调 整 两 种 策略 ， 
从 而 提高 了 学 习 速度 并 赔 加 了 算 泛 的 可 靠 性 ， 动 基 法 降低 了 网 络 对 于 误差 曲 而 局 部 细节 的 
繁 感性， 有 有 效 地 抑制 了 网 络 陷于 局 部 极 小 ， 自 适应 调整 学 习 速 率 有 利 丁 纺 短 学 习 时 间 。 


3.3 ”线性 神经 网 络 


线性 神经 网 络 症 最 简单 的 - .种 神经 元 网 络 ， 它 可 以 由 一 个 或 多 个 线性 神经 元 构成 。20 
上 岂 纪 50 千代 木 由 Widrow 和 Hoff 提出 的 自 适 应 线性 元 件 (Adaptive Linear Element'Adaline) 
是 线性 神经 网 络 最 早 的 典型 代表 。 线 性 神经 网 络 与 感知 器 神经 网 络 的 不 同 之 处 在 于 其 每 个 
神经 元 的 传递 函数 为 线性 冰 数 ， 因 此 线性 神经 网 络 的 输出 可 以 取 任 意 值 ， 而 感知 器 神经 
络 的 输出 只 能 是 1 或 0. 线性 神经 网 络 可 以 采用 Widrow-Hoff 学 习 规则 , 也 称 为 LMS (Least 
Mean Squre) 算法 来 调整 网 络 的 权 值 和 闭 值 。 线性 神经 网 络 的 学 习 算 法 比 感知 器 网 络 的 学 
习 算 法 的 收敛 速度 和 精度 孝 有 较 大 的 提高 。 

线 必 神 经 网 络 主要 用 十 上 电 数 逼 近 、 信 号 处 理 泪 波 、 预 出、 模式 识别 和 控制 等 方面 . 
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3.3.1 “线性 神经 元 模型 


可 3-9 给 出 一 个 线性 神经 元 模型 ， 其 传递 函数 为 线性 传递 函数 purelin， 如 图 3-10 所 


示 。 


&ID、_aal,1D) 


2 一 六 一 


女 以 ] ,及 | 





3-9 ”线性 神经 元 模型 


一 





图 3-10 线性 传递 函数 purelin 


由 于 线性 神经 网 络 中 神经 元 的 传递 函数 为 线性 函数 ， 其 输入 输出 之 间 是 简单 的 比例 关 
系 。 因 此 ， 对 于 单个 线性 神经 元 ， 可 通过 下 式 计算 出 ; 
Q= PHUrelinCWwX+ 切 


在 MATLAB 6.5 中 可 用 : 
Fer 一 Penad(P 太 ) 


QG= Saet, 书 ) 


生成 和 计算 线性 神经 元 的 输出 。 
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3.3.2 ”线性 神经 网 络 的 模型 


前 向 型 神经 网 络 理论 及 实例 





SOUL 


MATLAB 6.5 Eeeeaa 


多 3-11 给 出 的 是 其 有 忍 个 输入 的 单 必 〔 和 有 S 个 神经 元 ) 线性 神经 无 网 络 的 丙种 形式 ， 


其 权 值 为 短 阵 w， 痪 值 为 向 量 五 ， 这 种 网 








络 也 称 为 Madaline 网 络 。 


广 - 
区 4 1 al 
人 D _ 世 
PTD) -一 2 一 帮 吕 | 、 [一 
站 县 x 于 AN 了 a 
SITY Tsa 
PC2) (2 HH) 襄 二 | 
玫 TTA | 
Li 
3 
PS) alS) 
Wo 4 
其 3 
1 
欧 3-11 线性 神经 元 网 络 


神经 网 络 的 应 用 。 内 为 对 每 一 个 多 层 线性 
导线 性 神经 网 络 。 


3.3.3 ”线性 网 络 的 初始 化 
与 感知 器 网 络 相同 ,线性 网 络 的 初始 


函数 。 其 用 法 为 : 
Pet 





Widrow-Hoff 学 习 项 则 只 能 训练 单 层 的 线 必 神经 元 网 络 ， 但 这 点 并 不 影响 单 层 线性 


:神经 网 络 耐 言 ， 都 可 以 设计 出 “个 性 能 柑 汉 的 音 


化 也 采用 MATLAB 6.5 神经 网 络 工具 箱 中 的 init( 》 


三 六 让 (met]; 


这 条 语句 可 以 将 net 网 络 权 值 和 阔 值 设置 为 0。MATLAB 神经 网 络 工具 箱 中 的 胡 数 


newlin 及 newlind 均 可 产后 ”个 单 层 线 人 


的 线性 网 络 已 经 是 初始 化 的 。 
3.3.4 ”线性 网 络 的 学 习 规 则 


线性 网 络 采用 Widrow-Hoeff 学 习 规 风 


网 络 ， 在 这 师 个 盟 数 中 使 用 了 initf )， 因 此 得 到 


， 利 用 iearnwh() 数 米 修正 网 络 的 权 值 和 闪 值 。 使 





用 Widrow-Hoff 学 习 规则 可 以 用 来 训练 网 


式 . 
首先 定义 一 个 线 忻 网 络 的 误差 斑 数 : 
1 


elw,z) = 四 一 中 
由 上 式 可 见 ， 线 性 网 络 具 有 抛物 而 型 的 误 演 曲 在， 


络 某 - 层 的 权 值 和 闭 值 ， 使 其 线性 关 近 个 函数 


2 


训 -wm 
此 只 能 有 -个 误差 最 小 值 。 





因 本 于 











ea 
Treo 
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e(w, 下 值 取决 十 网 络 的 权 值 和 日 标 矢量 ， 内 此 ， 通 过 调整 权 值 使 误 蔡 达 久 最 小 。Widrow- 
Hoff 学 习 规则 是 通过 洪 着 相对 士 误 痊 平 方 和 的 最 快 下 降 方 向 ， 连 续 调整 网 络 的 权 值 和 岗 
值 。 根 据 梯 度 F 降 法 ， 权 人 矢量 的 修正 正比 士 当前 位 置 上 的 e(w, 芭 的 梯度 ， 对 于 第 ;个 输 
出 节点 : 


ae 


An 六 = 全 3 





=TED 一 acD]P( 广 

或 表示 为 : 

An 信访 =96 人 OP(7 
Ap 站 =nm6O) 

其 中 5 人 =tD-aG)。 

以 上 两 组 表达 式 即 为 Widrow-Hoff 学 习 规则 ， 又 称 为 最 小 均 方 误 关 算 法 〈LMS )。 
Widrow-Hoft 学 习 规 则 的 权 值 变化 量 正比 于 网 络 的 输出 误差 及 网 络 的 输入 矢量 。 该 算法 无 
需求 导数 ， 央 此 比较 简单 ， 又 具有 收 敏 速度 快 和 精度 高 的 优点 。 上 述 式 中 六 是 学 习 速 率 ， 
速率 绞 大 时 ， 学 习 过 程 加 速 ， 网 络 收敛 较 快 ; 但 是 媳 太 大 时 ， 学 习 过 程 变 得 不 稳定 ， 
用 误 准 会 加 大 。 因 此 学 习 速率 的 取 值 很 关键 。 神 经 网 络 .开具 函数 maxlinir 用 于 求 合适 的 学 
习 速 率 T 即 妖 )。 网 络 没有 阐 值 时 ， 用 廊 = max pzr(P) 求 学 习 速率 ， 网 络 有 阔 值 时 ， 用 
六 = maxiiar(P,"pias) 求 学习 速率 。 

采用 Widrow-Hoff 学 习 规则 训练 的 线性 网 络 ， 该 网 络 能 够 收 伍 的 必要 条 件 式 被 训练 的 
输入 失 量 必须 是 线性 独立 的 ， 且 应 适当 地 选择 学 习 速 率 。 


3.3.5 ”线性 网 络 的 训练 








线性 网 络 的 训练 过 程 分 如 下 3 步 : 
(1) 根据 给 定 的 输入 矢量 计算 网 络 的 输出 矢量 4 = wx 书坊 ， 以 及 与 期 望 条 出 之 间 的 
误 莽 e=1 一 4 
《2》 将 网 络 输 出 误 莽 的 平方 和 与 期 望 误差 相 比 较 ， 如 果 其 值 小 于 期 望 误 痊 ， 或 训练 已 
达到 事先 设 定 的 最 大 训练 次 数 ， 则 终止 训练 ， 否 则 ， 继 续 训练 ， 
(3) 采用 Widrow-Hof 学 习 规 则 计算 新 的 权 值 和 阅 值 ， 并 返 区 到 第 《1) 步 。 
如 果 网 络 训练 成 功 ， 那 么 当 - -个 不 在 训练 中 的 输入 矢量 输入 到 网 络 中 去 时 ， 网 络 产生 
一 个 与 此 相应 的 箱 出 矢 盟 。 这 种 特性 被 称 为 泛 化 功能 ， 这 在 酌 数 逼近 以 及 输入 矢量 分 类 的 
应 用 中 是 很 有 用 的 。 
如 果 终 过 训练 的 网 络 不 能 达到 期 望月 标 ， 可 以 有 两 种 选择 ， 或 者 检查 -下 所 要 解决 的 
问题 是 否 适 用 于 线 竹 网 络 ， 或 对 网 络 进行 过 - - 步 的 训练 。 
在 MATLAB 6.5 的 神经 网 络 工具 箱 由 ， 线 性 网 络 的 训练 哆 数 为 adapt( )adaptwb( ) 和 
traint ),trainwb( )， 











3.4 径 向 基 函 数 网 络 
众所周知 ，BP 网 络 用 于 函数 适 近 时 ， 权 信 的 调节 采用 的 是 负 樟 度 下 降 法 ， 这 种 调 攻 
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权 秆 的 方法 有 它 的 局 限 性 ， 即 存在 首 收 敛 速度 慢 和 局 部 极 小 等 缺点 。 向 径 向 苇 数 网 络 
(CRadial Basis Function，RBF) 大 沦 在 遂 近 能 力 、 分 类 能 力 和 学 习 速 度 等 方向 均 优 三 BP 
网 络 。 


3.4.1 ” 径 向 基 酚 数 网 络 摸 型 


RBF 网 络 山 三 层 组 成 ， 其 结构 如 移 3-12 所 示 ， 和 输入 层 节 吉 只 是 传递 笨 入 信号 到 隐居 ， 
隐居 节点 【也 称 RBF 节点 ) 山 像 高 斯 核 珊 数 烛 样 的 辐射 状 作用 冀 数 构成 ， 而 输出 层 节 只 
通常 是 简单 的 线性 函数 。 





图 3-12 RBF 网 络 


隐 层 节点 中 的 作用 郑 数 〈 核 首 数 ) 对 输入 信号 将 在 局 部 产生 响应 ， 也 就 是 说 ， 当 输入 
膏 号 靠近 核 国 数 的 中 央 范 围 时 ， 隐 层 节点 将 庆 生 较 大 的 输出 。 巾 此 可 看 出 这 种 网 络 具有 局 
部 逼近 能 力 ， 所 以 径 向 基 表 数 网 络 也 称 为 局 部 感知 场 网 络 。 


3.4.2 ” 基 函 数 的 形式 








作为 基 函 数 的 形式 ， 有 上 上 列 几 种 ; 本 
OO = exp 5 
] 
=- ,az0 
foo (3 2> 
(OOD=(2+x)8 .ea< 有 <l 


(Gaussian kernel function)， 如 下 式 所 泵 : 


X-CDJTOXC-C 
| 1 


5 
20， 





3 
其 中 ， 丰 是 第 了 个 隐 层 节点 的 给 出 ，X = (xs 总) 是 输入 样本 ，C) 是 高 关 函 


数 的 中 心 值 ，Gj 是 标准 化 常数 ， ,是 隐 层 节点 数 。 由 上 上 式 可 知 ， 节 点 的 输出 范围 在 0 
和 1 之 间 ， 上 入 必 本 人 过 节 点 的 中 心 ， 输 出 值 愈 人 。 


有 _MATLAB.6.5 辅助 神经 网 络 分 析 与 设计 


自 圾 二 夫 式 简单， 多 使 对 十 多 变量 输入 也 不 增加 太 多 的 复杂 性 。 
@@。” 径 向 对 称 。 

@ ”光滑 性 好 ， 任 意 阶 导数 存在 。 

@。 由 于 该 基 哟 数 表示 简单 及 解析 性 好 ， 内 而 便士 进行 乾 论 分 析 。 


考虑 到 提高 网 络 精度 和 减少 隐 层 节点 数 ， 也 可 以 将 网 络 基 函 数 改 成 多 变量 正 态 密度 函 


尺 (z) = expCG-GKGeD 


其 中 天 = Ex-c)7(x 一 cl) 是 输入 协 方差 阵 的 道 。 注 意 这 时 工 式 己 不 骨 是 径 问 
对 称 - 


3.4.3 RBF 学 习 过 程 


RBF 网 络 的 输出 为 隐 必 闻 节点 输出 的 线性 组 合 ， 即 ， 
> -96=WIU 12 


其 中 册 = Ci Waiw， 并， 区 =G0so: -aviaD 7 。 


RBF 网 络 的 学 习 过 程 分 为 两 个 阶段 。 第 -阶段 ， 根 据 所 有 的 输入 样本 决定 隐 层 各 节点 
的 高 斯 核 函数 的 沾 心 倩 C 和 标准 化 常数 。 第 二 阶段 ， 在 决定 好 作 层 的 参数 后 ， 根据 样 
本 ， 利 用 最 小 二 生 诛 则 ， 求 出 输出 层 的 权 值 现 。 有 时 在 完成 第 二 阶段 的 学 习 后 ， 再 根据 
样本 信号 ， 同 时 校正 隐 层 和 和 输出 层 的 参数 ， 以 进 ， 步 提高 网 络 的 精度 。 

从 理论 上 而 言 ，RBF 网 络 和 BP 网 络 ` 样 可 近似 作 何 的 连续 非 线性 函数 。 两 着 的 主要 
差别 在 于 各 使 用 不 同 的 作用 函数 ，BP 网 络 中 的 隐 层 节点 使 用 的 是 Sigmoid 秀 数 ， 其 绷 数 
值 在 输入 空间 中 无 限 大 的 范围 内 为 非 零 人 而 RBF 网 络 中 的 作用 函数 则 是 局 部 的 。 


3.5_GMDH 网 络 


GMDH (The Group Method of Data Handling) 网 络 是 前 向 网 络 的 “种 ， 称 为 多 项 式 网 
络 。 它 成 功 地 应 用 于 非 线性 系统 的 建 模 和 控制 中 ， 如 超 音 速 飞机 的 控制 系统 ， 电 力 系统 的 
负荷 预测 等 。 
网 3-13 所 示 的 是 - -种 典型 的 GMDH 网 络 ， 它 出 4 个 输入 和 单 输出 构成 。 输 入 层 节点 
只 是 传递 输入 信号 到 中 间 隐 层 的 节点 ， 每 一 隐 层 节点 和 输出 节点 正好 有 两 个 输入 ， 央 此 单 
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笨 出 节点 的 前 -一 基 青 定 只 有 两 个 史 层 节点 。 


图 3-13 。GMDH 典 鲁 网络 结构 


除 输 入 层 外 ， 每 个 处 理 单元 具有 图 3-14 遍 示 的 形式 ， 其 输入 输出 其 系 如 十: 
一 ar 十 放 eur(zeb 十 帮 2i 二 etiZi 十 态 
其 中 zy 表示 第 大 层 的 第 1 个 处 理 单元 ， 且 zu = 为。 由 上 式 可 见 ，GMPH 网 络 中 的 
处 理 单元 的 输出 是 两 个 输入 量 的 2 次 多 项 式 ， 因 此 网 络 的 每 “ 层 将 使 得 多 项 式 的 次 数 增 大 
2 阶 ， 其 结果 是 网 络 的 输出 可 以 表示 成 输入 的 高 阶 〈 次 阶 ) 多 项 式 ， 其 中 大 是 网 络 的 民 
数 〔 不 含 输入 层 )。 


Zi- 


Za 


图 3-14 GMDH 网 络 的 处 斩 单 元 


直面 将 如 何 决定 GMDH 网 络 的 每 - 隆 层 及 处 理 单元 的 方法 简 述 如 下 : 

@ 首先 在 输入 层 厚 加 上 - - 层 中 间 层 ， 决 定 其 处 理 单元 的 数 且 和 每 一 处理 单元 的 多 项 
式 表达 式 。 

和 @ ”同样 在 中 间 屋 后 ， 得 加 上 - - 层 中 间 层 ， 做 相间 的 处 理 ， -直到 输 册 层 。 每 “ 必 的 
处 理 内 容 和 方法 都 相同 。 


第 4 章 前 向 型 神经 网 络 设计 分 析 


明 向 型 神经 阿 络 在 网 络 结构 上 采用 的 是 其 信息 县 能 从 输入 慰 单 元 传递 到 它 后 面 层 的 
单元 的 方式 ， 其 结构 在 前 而 已 经 进行 了 介绍 - 这 种 缚 构 的 神经 网 络 遂 常 比较 适合 十 预测 、 
模式 识别 ， 以 及 非 线性 冰 数 逼近 。 前 而 介绍 了 前 向 型 神经 玖 络 的 理论 并 列举 了 些 

章 将 介绍 前 各 型 神经 网 络 的 设计 方法 并 。 

本 章 主 要 内 容 包括 ; 

知 器 神经 网 络 设计 
线性 网 络 设计 

自 适 应 预测 

线性 系统 办 识 

自 适 应 系统 辨识 
子 数 逼近 

胆固醇 含量 估计 
特征 识别 

径 向 基 图 数 网 络 设计 














4.1 引 告 


前 向 型 神经 网 络 在 网 络 结构 上 采用 的 是 其 信息 内 能 从 输入 层 单元 传递 到 它 后 面 层 的 
单元 的 方式 。 其 结构 在 前 面世 经 进行 了 介绍 。 这 种 结构 的 神经 网 络 通 常 比较 适合 于 预测 、 
模式 识 曙 ， 以 及 划 线 性 范 数 半 近 。 

前 向 型 神经 网 络 包括 感知 器 神经 网 络 、 线 性 神经 网 络 、BP〈Backpropagation》 网 络 和 
季 向 基 画 数 网 络 。 

感知 器 神经 网 络 通常 用 于 简单 的 模式 分 类 中 。 对 于 线性 可 分 的 儿 类 模式 ， 感 知 器 神经 
网 络 可 以 成 巧 地 对 它们 进行 分 类 。 但 是 ， 对 十 线性 不 可 分 的 情况 ， 感 知 器 神经 网 络 不 能 有 
效 地 分 类 。 倒 如， 对 于 “ 异 或 ”问题 ， 感 知 器 神经 网 络 就 不 能 解决 。 本 章 的 第 2 节 将 介绍 
运用 感知 器 神经 网 络 进行 异 式 分 类 设计 的 实例 . 

线性 神经 网 络 与 感 逢 器 神经 网 络 的 不 回 之 处 在 于 其 每 个 神经 元 的 传递 亏 数 为 线性 画 
数 ， 因 此 线性 神经 网 络 的 输出 可 以 取 任意 值 ， 而 感知 絮 神 经 网 络 的 给 出 只 能 是 0 或 者 1 
线性 神经 网 络 主要 用 于 上 数 各 近 、 信 号 预测 、 系 统 辨识 、 控 制 以 及 筑 式 识别 等 领域 .本章 
的 第 3 节 将 介绍 “个 利用 线性 网 络 进行 信号 顶 测 的 实例 ; 第 4 节 将 介绍 - 个 利用 线性 网 络 
进行 自 适应 信号 预测 的 实例 ， 第 5 节 将 介绍 - 个 利用 线性 网 络 进行 线性 系统 辨识 的 实例 
第 6 节 将 介绍 -- 个 利用 线性 神经 网 络 进行 自 适应 系统 辨识 的 实例 。 

在 实际 应 用 由， 我 们 用 得 最 广 泛 的 十 反 向 传播 网 络 〈BP 网 络 )。 -个 经 过 训练 的 BP 
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网 络 能 饮 根 所 输入 给 出 人 台 泛 的 结果 ， 哪 怕 这 个 输入 并 没有 被 训 过 这 个 将 件 使 得 BP 淹 
络 入 适合 采用 输入 /日 标 对 有 进行 训练 ， 而 总 并 不 需要 把 所 有 可 能 的 输入 / 标 对 部 拿 来 刘 
练 。 本 素 的 第 ? 节 将 介绍 一 个 利用 BP 沿 络 刘 行 间 线性 网 络 训 到 的 实 傣 ， 第 8 节 将 介绍 | 
个 在 医疗 中 使 用 BP 网 络 佑 计量 图 降 合 斌 的 实例 ， 第 9 节 将 介绍 个 利 骨 BP 网 几 进 行 特 
征 分 类 ， 从 而 对 字母 进行 识别 的 实 鲁 

还 有 “种 很 重要 的 前 向 型 神经 网 络 ， 钱 径 向 枯 范 数 神 丝 网 络 。 这 种 网 络 着 一 种 局 部 通 
过 网 络 。 它 在 很 多 方面 都 优 于 BP 网 络 。 如 它 有 很 吕 内 分 类 能 力 和 通 近 能 为， 在 学 习 带 度 
访 耐 也 比 BP 网 络 守 快 。 在 本 划 的 第 10 节 将 介绍 -个 利用 狂 疝 基 极 数 神 经 网络 进行 了 数 
通 近 的 实例 - 








4.2 ”感知 器 神经 网 络 设计 


使 用 夺回 神 红 网 络 可 以 进行 科 单 拍 分 类 器 设计 。 当 它 用 于 两 类 醒 式 时 ， 相 当 于 在 区 
给 样本 字 间 中 ， 用 “个 超 平 面 将 商 类 样本 分 开 。Rosenblat 和 其 他 一 些 人 闪 经 险 出 过 严格 
的 数学 证 明 ， 对 于 线 狂 可 分 的 样本 ， 德 法 已 收 化 的 ， 闻 能 外 找到 合适 的 权 徒 。 而 对 于 线性 
不 可 分 的 样本 ， 刊 定 办 面 会 产生 报 薄 ， 以 至 于 公信 不 收 族 . 

下 而 我 们 用 施 数 设计 一 个 生 党 钠 的 2 输入 志 姑 器 神经 网 络 ， 利 用 它 洲 实现 分 类 加 的 
功放 ， 间 对 它 进 行 -几时 论 。 

图 441 给 出 了 感知 器 神 经 网络 本 结 构图 ， 





input ”Perceptron Neuron 





乓 41 条 入 经络 结 机 


4.2.1 问题 猫 述 


首先 给 出 一 些 已 知 的 畔 术 点， 多 疫 它 多 的 从 标 信和 类别 都 已 确 定 。 我 们 设计 一 个 感知 
器 村 经 网 站， 并 各 用 这 些 已 知 的 样本 点 来 训练 网 络 ， 使 得 对 于 以 后 任意 给 定 一 些 点 ， 感 和 
器 神经 网 绍 都 能 尽 可 能 正 丛 地 将 它们 分 类 





ii 





:0 
一 第 4 章 前 向 型 促 经 网 络 设计 分 析 _ 且 人 AAATLA 膨 6.S mm 


已 知 给 出 的 样本 点 及 其 基 乔 ， 在 竺 标 图 中 拉 它 们 表示 出 来 ， 不 同 的 类 别 使 用 了 不 同 的 
符号 ， 如 图 4-2 所 示 。 
P-L05-05 03.-0102 0006 0.8: 
.05 05-05 1005-0908 .0.6|: 
T=[L1011010]: 
plotpv(PT: 


Vectors to be Classified 


P(2) 
吕 


-1 -0.5 0 .05 1 
P(D) 


图 4-2 样本 点 的 分 布 及 其 相应 的 类 别 


4.2.2 ”网 络 初始 化 


使 用 newp 困 数 建立 一 个 感知 器 神经 网 络 。 该 衣 数 执行 后 返回 个 新 的 感知 器 神经 网 
络 ， 传 递 函 数 在 默认 情况 下 为 hardlim 函数 ， 学 习 酌 数 在 默认 情况 二 为 Iearnp 函数 ， 我 们 
的 赃 本 点 取 值 在 一 1 一 1 之 问 ， 而 网 络 只 有 单个 神经 元 ， 所 以 有 ， 

net=newp 人 1 1-1 11 

使 用 plotpe 数 可 以 在 已 绘制 的 图 上 和 如 上 感知 器 分 类 线 。 我 们 让 它 返回 得 到 的 分 类 线 
的 句柄 ， 以 便 在 一 次 理 绘 制 分 类 线 时 能 够 将 计 的 删除 。 

handle=piotpcOnetiw{1janetb{f1lj 


42.3 网 络 训 练 
神经 网 络 建 立 好 以 后 ， 还 必须 经 过 训练 二 能 够 实际 应 用 ， 通 过 训练 ， 以 决定 网 络 的 权 


吧 和 79 





&& 
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值 和 疯 值 ， 对 于 壤 知 器 网 络 来 说 ， 其 训练 过 程 为 : 
对 于 给 定 的 输入 向 量 ， 让 算 网 络 的 实际 输出 ， 并 与 相 旋 的 目标 向 量 进 行 比较 ， 香 到 误 
差 e， 然 后 根据 相应 的 学 习 规则 调整 权 值 和 阔 值 。 生 新 计算 网 络 在 新 的 权 值 和 疯 值 作用 下 
的 输出 ， 重 复 上 述 的 权 值 和 阔 值 的 调整 过 程 ， 直 到 网 络 的 输出 与 期 望 的 目标 向 量 根 等 或 者 
训练 次 数 尖 到 预定 的 最 大 次 数 时 才 停 止 训练 。 之 所 以 要 设 定 最 大 训练 次 数 ， 是 头 为 对 于 有 
些 问 题 ， 使 用 感知 器 神经 网 络 时 是 不 能 解决 的 ， 这 正 是 感知 器 神经 网 络 的 缺陷 
企 这 里 ， 使 用 adapt 北 数 来 训练 网 络 ， 调 理 网 络 的 忆 值 和 赣 值 。 
E=12: 
while (sse(E) 
InebYE]=adapttnebPT); 
handle=plotpctneLiw{1jaeLbli hhandlej: 
end; 
代码 中 使 用 了 sse 函数 得 到 网 络 的 平方 和 误差 ， 以 此 作为 一 项 重要 的 性 能 指标 参数 。 
图 4-3 显示 了 网 络 在 进行 训练 以 后 得 到 的 分 类 线 。 从 图 4.3 中 可 见 分 类 线 能 够 将 两 类 输入 


向 若 进 行 正确 的 分 类 。 


Vectors to be Classified 


P(2) 
心 





PTD) 





图 4-3 网 络 设计 结果 一 一 分 类 线 


4.2.4 神经 网 络 性 能 测试 
上 面 已 经 党 成 了 网 络 的 训练 。 一 旦 训练 完成 ， 神 经 网 络 的 权 值 和 阅 值 就 已 经 确定 了 ， 
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本 TREE 





其 坐标 从 多 如 下 代码: 

testpoints=[-0.5 0.3-0.9 04-01 02-0.6 08 0.1-0.4; 
-03-08-0， 7 04-06 04-05-05 031; 
a=simtfnehtestpoints); 

gure: 

Blotpv(testpoints,a); 

plotpc(netiwf1],netbfl ],handle); 


Vectors to be Classified 


P(2) 
钙 
i 


-1.5 -1 -0.5 0 0.5 1 1.5 
P(D) 


疼 4-4 十 若 器 网 络 测试 结 浊 


例 程 4-1 是 上 述 设 计 的 MATLAB 程序 代码 。 


例 程 4 


ss painamaiilf mATLAD 6.5R 


于 是 就 可 以 使 用 它 来 解决 实际 的 问题 。 接 上 来 我 们 选择 些 点 ， 输 入 公 网 络 中 ， 利 用 其 得 
介 的 结果 测试 其 性 能 。 
选择 了 10 个 


得 到 了 网 络 对 这 些 测试 点 的 输出 值 ， 半 世相 应 的 在 图 中 做 出 了 标记 〈 遇 类 点 分 唱 用 不 
辣 的 记号 表示 )。 分 类 结果 如 图 4-.4 所 示 。 从 测试 的 结果 来 在， 网 络 能 够 将 它们 正 备 地 分 
类 。 这 也 说 叫 了 设计 的 网 络 是 正确 区。 





% 输 入 样 订 点 及 世相 应 的 类 独 

P=[L05 -05 03 -01 02 00 06 08; 
-05 05 -05 10 05 -09 08 -06]: 
T=Il10110101 

钨 在 坐标 网 上 给 出 样 林 点 

piotpv(PT)， 

包 建 立 “个 感 印 器 网 络 


net=newp(L1T:-1 .Di; 








4 是 MATLAB 6.5 辅助 神经 网 络 分 析 与 设计 
bandle=plotpctnetiwfljnetbflh:; 

免 利用 样本 忠 训 练 网 络 并 绘 出 得 到 的 分 类 线 

E=l; 

while (sse(E)， 

[InetYE]=adapttnebPT); 
handje=plotpc(neLiw{ljneLbflj,handle); 

end; 

名 选 霸 10 人 点 来 测试 网 络 

testpoints=[L0.5 03.-09 04-01 02-06 08 01-04; 
-03-0.8.-04-07 04-06 01-05-05 03]; 
a=sim(net'testpojnts); 

&% 在 坐标 图 上 绘 出 网 络 的 分 类 结果 及 分 类 线 

figure; 

plotpvy(testpoints,a: 

plotpc(netiw[1joetbbf1jhhandle): 








4.2.5 结论 及 讨论 


1. 结论 
我 们 使 用 感知 器 神经 网 络 设计 了 -个 简单 的 分 类 器 ， 并 使 用 已 知 的 样本 点 对 其 进行 了 
训练 。 该 分 类 器 能 够 实现 两 类 模式 的 分 类 。 在 网 络 训练 好 以 后 ， 选 择 了 一 些 点 ， 把 它们 答 
入 了 这 个 网 络 ， 网 络 给 出 了 正确 的 分 类 结果 。 
但 是 ， 这 个 感知 器 神经 网 络 的 设计 过 程 是 比较 咯 红 的 。 如 果 给 出 的 问题 是 线性 不 可 分 
的 ， 或 者 是 样本 中 存在 奇异 点 ， 网 络 的 设计 都 不 会 如 此 顺利 。 
实际 上 ， 感 知 器 神经 网 络 在 结构 和 学 习 规则 上 都 有 很 大 的 局 限 性 ， 这 些 局 限 性 使 得 其 
应 用 被 局 限 在 一 定 的 范围 内 。 感 知 器 神经 网 络 的 局 限 性 包括 
@ 函数 是 阔 值 函数 ， 所 以 感知 器 神经 网 络 的 输出 具 能 取 0 或 1， 因 此 ， 感 知 器 内 能 
用 于 简单 的 分 类 问题 。 
@。 当 感知 器 神经 网 络 的 输入 样本 中 存在 奇异 样本 点 ， 即 该 样本 点 向 量 同 其 他 所 有 翌 
本 点 向 量 相 比特 别 大 或 者 特别 小 时 ， 网 络 的 训练 将 要 花费 很 长 的 时 间 。 
@ 感知 器 神经 网 络 只 能 对 线性 可 分 的 向 量 集合 进行 分 类 。 前 面 已 经 提 到 过 
Rosenblatt 和 其 他 - 些 人 曾经 给 出 过 严格 的 数学 证 明 ， 对 十 线性 可 分 的 样本 ， 感 
知 器 在 有 限 的 时 间 内 总 能 达到 有 目标 向 量 。 而 对 于 线性 不 可 分 的 样本 ， 判 定 界面 会 
产生 振荡 ， 以 至 于 权 值 不 收 伍 。 向 且 ， 如 何 确 定 输入 向 量 是 否 线 性 可 分 ， 尾 很 困 
难 的 ， 至 今 也 没有 非常 有 效 的 办 法 ， 尤 其 当 和 输入 向 量 增多 时 ， 更 难以 确定 。 一 般 
只 有 设 定 一 定 的 循环 次 数 ， 对 网 络 进行 训练 而 判定 其 是 否 线 性 可 分 。 




















2， 讨 论 
下 面 针对 刚才 提 到 的 感知 器 神经 网 络 局 限 性 的 第 二 条 进行 讨论 ， 即 当 输入 样本 中 存在 
奇异 样本 点 的 情况 。 


模型 与 前 而 设计 的 类 似 ， 只 是 输入 样本 点 有 了 变化 ， 在 原来 的 基础 上 加 入 了 一 个 奇异 
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一 和 imzilERdRit2i 四 RMAATLAE 6.5 aa 


点 《60，20)， 与 其 他 样本 信 相 比 ， 其 仅 林 利 未 常 大 。 


P-L-05-05 03-0102 0006 0860: 
-05 05-05 1005-0908-06201: 
Te1011010 1 

得 介 输 入 向 量 的 分 布 情况 ， 与 前 所 样 ， 立 





些 样 木 点 都 被 加 上 了 相应 的 标记 ， 以 区 分 


类 出 。 如 图 4.5 所 未 ， 显 然 ， 有 一 个 点 明显 地 与 其 他 点 之 间 有 很 大 的 距离 。 


Vectors to be Classified 


20 和 oaao4 5 6o 7 ao 
P(D) 


图 45 含有 奇异 点 的 输入 样本 图 
用 这 些 样 椒 点 对 前 而 设计 的 感知 其 神经 网 络 进行 训练 。 山 了 输入 点 的 坐标 分 布 发 生 了 


变化 ， 故 建立 网 络 的 代码 相应 改变 为 : 


没有 什么 变化 。 训 多 


net=newp([-1 60;1 20],1); 

与 前 面 的 方法 一 样 ， 对 建立 的 网 络 进行 训练 ， 以 得 到 合 适 的 权 信和 阔 值 。 这 部 分 代码 
二 成 以 后 ， 在 到 上 绘 出 了 得 到 的 分 类 线 ， 

山村 奇异 样本 点 的 存在 ， 可 以 发 现 ， 感知 器 神经 网 络 要 花费 比 前 面 多 得 多 的 时间 来 完 





成 训练 过 程 。 


阁 4.6 (ay 中 显示 了 训练 后 得 到 的 分 类 线 。 引 十 有 异样 本 点 的 存在 ， 使 得 原始 样本 点 


在 图 中 聚集 在 -个 根 小 的 范围 内 ， 从 这 个 图 上 很 难看 出 分 类 线 对 它们 的 分 类 能 力 。 我 们 将 
它们 所 在 的 局 部 进行 放大 ， 在 图 4.6 (b) 中 重新 显示 了 这 个 分 类 线 。 下 面 的 代码 完成 了 局 
部 放大 显示 的 功能 。 


figure; 

Pilotpv(P'T》 
plotpcCnetjiw{f1jnetbf] 
axjst[-22 -22]); 
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Vectors tp be Classified 


-20 -0 0 10 20 30 40 50 60 70 80 
PUD) 


疼 4-6 (a) 训练 得 到 的 分 类 线 


图 4-6 Cb) 即 为 将 局 部 放大 后 得 到 的 分 类 情况 。 从 图 中 的 分 类 线 图 可 以 看 山 ， 在 两 类 
样本 点 中 均 有 -个 点 与 分 类 线 十 分 接近 ， 但 还 是 得 到 了 正确 的 结果 。 从 这 - :点 来 看 ， 也 可 
以 知道 ， 样 本 中 含有 奇异 点 对 整个 网 络 的 训练 影响 是 很 人 的 ， 


Vectors to be Classified 














2 


-2 .15 -1 05 05 1 15 2 


0 

PTD) 
图 4.6 kb) 训练 得 到 的 分 类 线 (局 部 放大 后 的 效果 ) 

设计 好 网 络 后， 要 测试 其 性 能 。 与 前 面 一样 ， 选 拼 “ 些 测试 点 ， 使 用 设计 好 的 网 络 对 


它们 进行 分 类 ， 在 图 中 相应 的 对 分 类 结果 做 出 标记 ， 并 将 分 类 线 也 绘 在 图 上， 观察 标记 情 
况 与 实际 的 分 布 是 否 吻合 ， 以 此 来 检验 网 络 的 正确 性 。 这 里 我 们 选择 与 前 面 一 样 的 点 进行 





er 仙人。 mm 








7 
一 ss waspanioiay n MATLA 避 有 .5 
测试 ， 代 码 也 没有 什么 变化 ， 如 网 4.7 所 示 。 


Vectors to be Classified 





0 
P(T) 
图 4-7 测试 结果 


图 4-7 中 显示 了 测试 点 及 分 类 线 。 可 以 看 出 ， 网 络 对 它们 进行 了 正确 的 分 类 。 但 古 ， 
需要 注意 的 是 ， 有 几 个 点 非常 靠近 分 类 线 ， 这 使 得 在 实际 中 这 个 网 络 的 容错 能 力 不 强 ， 很 
有 可 能 出 现 错误 。 例 程 4-2 是 相 应 的 MATLAEB 程序 代码 。 


例 程 4-2 


% 输 入 样本 点 及 其 相应 的 类 别 ,其 中 有 一 个 奇异 点 
P-[05 -05 03 -01 02 00 06 08 60; 
-05 05 .05 10 05 -09 08 -06201 
Ti10110101; 

的 在 坐标 图 上 绘 出 样本 点 

plopy(PT) 

允 建 立 一 个 感知 器 网 络 

figure; 

plotpv(P'T); 

net=newp([-160:1 20].1); 
handle=plotpc(netiw[ljnetbtlj); 

钨 利用 样本 点 训练 网 络 并 绘 出 得 到 的 分 类 线 
E=1; 

While (sse(E))， 

JnebYE]=adapttnebPT): 
handie=plotpc(netiw{ljnetbllhhandle); 

endi; 

名 局 部 放大 分 类 线 图 


fgure; 
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Plotpv(PT); 

plotpetnetjw{ljnetbfl): 

axis(f-2 2 -2 23): 

免 选择 10 个 点 来 测试 网 络 

testpoinis=[-05 03-09 04-0.1 02-06 08 0.1-0.4; 
-03-0.8-04-07 04-06 01.-05-05 03; 
a=simfnettestpoints): 

名 在 坐标 图 上 绘 出 网 络 的 分 类 结果 及 分 类 线 
figure; 

plotpv(testpoints,a): 

plotpc(net.iw{1},netbl1]); 





对 于 线性 不 可 分 的 情况 ， 在 训练 时 是 得 不 到 正确 的 分 类 线 的 。 读 者 可 以 自己 试 着 用 前 
面 的 方法 进行 讨论 ， 限 于 篇 幅 ， 本 处 就 不 再 赣 述 了 。 


4.3 ”利用 线性 网 络 进行 信号 预测 


线性 神经 网 络 在 函数 逼近 、 信 号 处 理 滤波 、 预 测 、 模 式 识别 和 控制 等 方面 都 有 广泛 的 
应 用 ， 本 节 我 们 将 详细 介绍 它 的 设计 方法 。 


4.3.1 问题 描述 


首先 定义 .- 个 信号 T， 它 是 . -个 采样 速率 为 每 秒 40 次 ， 持 续 5 秒 钟 的 正弦 信号 。 
Time=0:0.025:5; 
T=sin(Timer4+pi; 
Q-lengthfT: 
在 任意 给 定 的 时 刻 ， 给 网 络 的 输入 为 信号 了 最 近 的 五 个 值 ， 我 们 希望 网 络 能 根据 这 五 
个 值 输出 下 -个 值 。 
可 以 用 将 信号 了 延迟 1 ~ $ 个 时 间 步 长 的 方法 得 到 网 络 的 输入 P。 
P=zeros(5.QX 
PG2Q)=TGOLIQ-D 
PC,.3:Q)=TG 1Q-27) 
PG 4:QJ=TGL(Q-3 和 
P(G4.5Q)=T0L1(Q-4) 
PG.6:Q)=TGL(Q-5) 
PiotTime'T); 
tle( 信 和 号 卫 ); 
xlabel( 时 间 ?); 
ylapel( 且 标 信号 
绘 出 信号 工 的 曲线 如 图 4-8 所 示 。 








0 05 1 15 3225 5 
时 间 


疼 48 信号 T 


4.3.2 ”网络 设计 


对 于 某 一 个 固定 信和 叶 米 说 ， 其 过 去 和 未 来 的 值 之 闸 的 关系 将 不 会 改变 。 央 此 ， 这 个 预 
测 网 络 可 以 直接 使 用 newlind 函数 来 设计 。 木 问题 中 有 五 个 输入 《〈 即 五 个 延迟 信号 的 值 
利 一 个 输出 〈 即 预测 的 下 -个 时 刻 信 切 的 值 )。 所 以 ， 所 设计 的 网 络 必须 含有 一 个 具有 五 
个 输入 的 单 神经 元 。 网 络 的 结构 如 图 4-9 所 示 。 

在 本 问题 中 ， 利 用 newlind 函数 设计 网 络 ， 可 以 得 到 网 络 的 权重 和 阔 值 ， 并 且 使 得 误 
差 平方 和 最 小 。 

net=newlind(P,T); 


网 络 设 计 好 以 后 ， 下 面 就 可 以 开始 测试 其 性 能 了 。 





input Linear Neuron 





和 =Pirelin(WP + 


图 4-9 网 络 结构 
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43.3 测试 网 络 


对 于 用 上 述 方法 设计 的 网 络 ， 测 试 其 性 能 。 方 法 是 将 前 面 产 生 的 五 个 延迟 信号 P 作为 
测试 输入 ， 利 用 仿真 函数 sim 得 到 由 网 络 运算 的 结果 a， 如 图 4-10 所 示 。 
a=simtnetP); 
名 绘 出 网 络 预 测 输出 
figure; 
plotTime,aj; 
tine( 预 测 结果 小 
xlabel( 时间; 
ylabei( 预测 值 ? 
了 预 测 结果 


15 -一 一 -~ 一- 





图 4-10 网 络 预测 输出 


比较 图 4.8 的 期 望 信号 了 此 线 和 图 4-10 得 到 的 网 络 实际 输出 信号 a 曲线 ， 可 以 发 现 
它们 十 分 接近 。 为 了 便 子 比较 两 者 的 差别 ， 可 以 求 出 网 络 预 测 误差 e-T 一 a， 并 将 其 曲 线 
绘 出 ， 如 图 4.11 所 示 。 


e=T-ai 

gure; 
HotfTime,e) 
titlef' 误 郑 小 
xlabei 时 间 ?; 
ylabel(' 误 苋 值 ?; 


88 一 


第 











0 0o5 1 15 2 25 3 35 4 45 5 


时 间 
图 4-11 网 络 预 测 误差 


观察 误差 曲线 可 以 发 现 ， 在 刚 开 始 的 一 段 时 间 里 ， 网 络 误差 较 大 ， 但 经 过 很 短 的 “- 段 
时 间 以 后 ， 误 差 逐渐 减 小 ， 并 趋 于 0。 这 是 由 于 在 开始 的 儿 个 时 间 步 长 里 ， 网 络 输入 信号 
不 完整 ， 而 其 需要 的 输入 为 五 个 信号 ， 经 过 - 段 时 间 后 ， 网 络 的 输入 变 得 完整 了 ， 因 而 其 
输出 的 误差 也 相应 地 减 小 ， 例 程 4-3 是 本 问题 的 MATLAB 程序 代码 。 


例 程 4.3 











免 生成 一 个 信号 ， 作 为 被 预测 信号 
Time=0:0.025:5; 
T=sin(Time*4*pi); 
Qriength(T; 

多 由 信号 了 生成 输入 信号 
了 P = zeros(5,Q); 
PCL2Q)=TUIQ-TD); 
PC2.3:Q) = TU,1(Q-2); 
PG,.4:Q@) =T(1(Q-3) 
P(4.5:Q) = T(1:(Q-4)) 
P(S.6:Q) = TU,1:(Q-5); 
狗 绘 出 信号 了 的 曲线 
gure; 

plotCTime,T); 

ie 信号 了 T》 
xlabel(' 时 间 '; 

ylabelf 日 标 信和 号 人 

入 设计 网 络 
met=newlind(PT); 

多 仿真 网 络 
arsimCnetP) 


免 绘 出 网 络 预测 输出 
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figure; 

plotTime,aj; 

tige( 预测 结果 ?; 

xlabel(' 时 间 小 

yabel( 预测 值 ?; 

多 得 到 误 盖 信号， 并 绘 出 其 曲线 


ecT-a 


figure; 
plotTime,ej; 
tinef 误 差 ?; 
xlabel( 时 间 小 
yabel( 误 差 值 y 





4.3.4 结论 


虽然 使 用 线性 网 络 不 能 够 无 误差 地 解决 非 线 性 问题 ， 但 是 它 能 够 在 保证 误差 平方 和 最 
小 的 意义 下 逼近 非 线性 问题 的 解 。 虽 然 这 个 解 不 是 最 优 的 ， 但 在 很 多 情况 下 ， 它 能 够 用 于 
非 线 性 问题 的 解决 ， 得 到 需要 的 结果 。 给 定 线性 网 络 的 信息 越 多 ， 它 就 能 越 好 地 逼近 非 线 
性 问题 ， 得 到 的 解 的 误差 越 小 。 

当然 ， 如 果 要 解决 的 问题 非 线性 程度 太 高 〈 太 难 用 线性 方法 吉 近 )， 或 者 对 结果 的 误 
差 要 求 非常 高 要求 很 小 的 误差 )， 那 么 用 这 种 线性 网 络 的 方法 就 比较 困难 了 ， 这 时 使 用 
BP 网 络 或 者 径 向 基 函 数 网 络 的 方法 更 适合 一 些 。 


4.4 自 适 应 预测 
在 这 个 应 用 中 ， 我 们 使 用 adapt 嚼 数 来 在 线 的 训练 一 个 线性 网 络 ， 用 它 来 预测 一 个 时 
变 信号 序列 。 由 于 网 络 是 在 线 的 进行 自 适应 训练 的 ， 此 它 能 够 实时 地 跟踪 变化 的 信号 ， 
即 能 够 用 于 预测 时 变 信和 号 序列 。 
4.4.1 问题 描述 

















需要 预测 的 信 叶 是 一 个 持续 时 间 为 6 秒 的 信和 号。 在 前 + 秒 信号 的 采样 频率 为 20 赫兹 ， 

而 从 第 4 秒 到 第 6 秒 的 两 秒 里 ， 信 和 号 的 采样 频率 加 倍 ， 即 为 40 效 。 在 MATLAB 中 可 用 
如 下 代码 得 到 这 个 信号 T: 

Timel=0:0.05:4; 

Time2=4.050.024:6; 

Time=[Timel Time2|; 

T=[cos(Timel*4*pi) cos(Time2+8+pi]; 

T=con2seq(T): 

PlottTime,cat(C2,T{:T)) 





骨 风 丽人 
一 一 -一生 1 让 前 吕 弄 神经 内 络 设 计 9 折 WAATLA 注 6.5 ea 


待 跟 哮 的 目标 信号 


1 7 一 一- 


8 1 ;| 
人 了 1 
0 1 和 3 4 5 6 
时 个 





图 4-12 日 标 信号 了 


信号 了 的 分 布 如 图 4-12 所 示 。 
在 本 问题 中 ， 网 络 的 输出 是 为 了 跟踪 输入 ， 所 以 网 络 的 输入 信和 叶 与 目标 信和 号 相同 。 即 
有 : 


P=T' 
4.4.2 ” 赔 络 初始 化 


在 本 问题 中 采用 只 有 1 个 神经 元 的 单 输出 线性 网 络 ， 该 网 络 有 5 个 输入 ， 分 别 为 信号 
T 的 5 个 延迟 信号 。 
使 用 newlin 函数 产生 的 网 络 结构 如 图 4-13 所 丰 。 设 线性 网 络 的 学 习 速 率 为 0.1， 寺 是 
可 以 用 以 下 代码 生成 该 网 络 。 
1r=0.1: 
delays= (01234511 
net = newlin(tminmax(cat(2.P{:1 ,1.delays,lr: 
其 中 kr 为 网 络 的 学 习 速 率 ,minmax(cat(2,P{:])) 得 到 输入 P 的 最 大 值 . 最 小 值 失 阵 ,delays 
为 输入 延迟 向 量 。 


Linear Layer 





岁 4-13 ”网 络 结构 
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4.4.3 网 络 训练 


使 用 adapt 函数 对 本 网 络 进行 自 适 应 训练 。 在 网 络 的 输入 为 P， 输 出 目标 为 T 的 情况 
下 ， 其 代码 如 下 。 
[nebaej=adapt(nebPT); 


其 中 ，a 为 网 络 的 输出 ，e 为 网 络 的 误差 
4.4.4 网 络 性 能 测试 





在 网 络 训练 结束 后 ， 可 以 将 其 输出 的 预测 信号 与 目标 信号 绘 在 同一 幅 图 中 进行 比较 。 
其 结果 如 图 4-14 所 示 。 
plot(Timecat(2,af:))Timevcat(2.P{:]) 
xlabel(' 时 间 J; 
ylabel( 日 标 、 预 测 值 7; 
tine( 目标 信和 号 及 天 测 结果 ?)， 
观察 图 4-14 的 曲线 可 知 ， 在 最 开始 ， 网 络 花 了 1.5 秒 〈30 个 采样 点 ) 的 时 间 来 跟踪 
目标 信号 ， 这 段 时 间 的 误差 较 大 。 随 后 ， 网 络 的 预测 值 能 够 能 准确 地 跟踪 目标 信号 。 但 是 
到 了 第 40 秒 时 ， 日 标 信号 的 频率 发 生 了 突变 ， 这 又 使 得 预测 值 稍稍 偏离 了 目标 值 。 然 而 
很 快 ， 由 于 网 络 的 自 适应 学 习 功 能 ， 使 得 网 络 又 对 新 的 信和 号 行为 有 了 学 习 ， 输 出 信号 又 很 








快 地 跟踪 到 了 目标 信号 。 
5 目标 信号 及 预测 结果 
. | 
1- ; 
| 上 的 1 ， 1 
地 25| 1 ， 加 1 1 ] 
区 本 1 ， 人 中 
和 IT 
| 有 
严 -0.5- | ， 1 
| 亲 | 人 
| 1 4 4 | 
1 
时 间 


图 4-14 ”预测 信号 和 目标 信号 的 比较 
为 了 更 加 直观 地 观察 输 山 预测 信号 与 月 标 信号 的 差别 ， 可 以 给 出 误差 曲线 ， 如 图 4-15 


9 
4 


一 - 芋 ibaitsnitii5f a NAATLAB .6 


0 1 2 4 5 6 


3 
时 间 


4-415 预测 误 芜 曲 线 


PilotTime,cat2.ef)) 
xlabel( 时间? 
ylabel(' 误 差 ? 
title(' 误 差 信号 ); 
例 程 4-4 是 本 问题 的 MATLAB 程序 。 


例 程 4-4 


免 分 别 定义 两 段 时 间 Timel 利 Time2， 对 岂 信 号 的 不 同 频率 时 段 
Timet=0.005:4; 

Time2=4.05:0.024:6; 

Time=[TimeI Time2]; 

多 得 到 待 预测 的 目标 信号 
T=(cos(Timety4*pi cosCTime2*8*pi]; 
Tecon2seq(T); 

免 给 出 目标 信号 的 曲线 ， 并 指定 给 输入 
figure; 

plot(CTimeicat(C2.T(:) 

xlabelK' 时 间 信 

ylabel(' 目标) 

tie( 待 跟踪 的 月 标 信号 

PaT 

亿 生 成 线性 网 络 

Jr=0.1: 

delays=[12345]; 

met = newlin(minmaxfcat(2,P{:})),tvdelaysr); 
龟 对 网 络 进行 自 适应 训练 
[netael]=adapt(tnebPT); 

名 绘 出 预测 信号 、 日 标 信 号 及 误 莽 信号 曲线 
figure; 

plotTimevcat(2,.af:])Time,cat2.P{: 
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xlabeiC 时 间作 
ylabel( 是 标 、 预 测 值 )， 
title( 日 标 信号 及 预测 结果 小 
fgure; 

Plot(Time,cat(2.e 人 六 
xlabel( 时 间 ?); 






ylabel( 误差 ); 
title( 误 差 信号 小 





4.45 结论 





在 本 问题 中 设计 的 线性 网 络 能 够 很 快 地 适应 目标 信号 的 改变 以 对 其 进行 跟踪 。 给 人 印 
象 非 常 深刻 的 是 网 络 的 30 个 采样 周期 的 学 习 调节 时 间 。 在 传统 的 信号 处 理应 用 中 ， 信 和 号 
的 采样 频率 可 取 为 20kEHz。 而 考虑 在 这 样 的 采样 频率 下 ,30 个 采样 周期 将 意味 着 只 要 花 1.5 
微 秒 的 学 习 调节 时 间 。 

例如 ， 这 种 自 适应 学 习 的 线性 网 络 可 以 用 十 临 控 系统 中 ， 当 它 跟 踪 的 信号 可 能 引起 不 
稳定 时 ， 系 统 就 会 发 出 报警 信号 。 

自 适应 学 习 绥 性 网 络 模型 的 另 -个 应 用 则 某 于 其 能 够 对 “个 非 线性 系统 进行 逼近 ， 并 
找到 稳定 的 解 ， 使 得 结果 的 误差 平方 和 最 小 。 当 非 线性 系统 在 一 个 给 定 的 点 上 稳定 地 进行 
运行 的 时 候 ， 自 适应 学 习 线性 网 络 模型 能 够 非常 精确 地 对 它 进 行 逼 近 。 如 果 非 线性 系统 跳 
到 另 一 个 点 上 运行 ， 则 自 适应 学 习 线性 网 络 模型 的 工作 点 也 能 够 随 之 改变 ， 并 且 跟 踪 到 相 
应 的 新 的 工作 点 。 可 
采样 速率 必须 足够 决 ， 使 得 自 适 应 线性 网 络 模型 能 够 在 最 短 的 时 间 里 保 
持 与 非 线性 系统 在 当前 工作 点 上 是 一 致 的 。 但 是 ， 自 适应 线性 网 络 模型 还 是 
要 花 一 定 的 时 间 ， 用 以 得 到 关于 非 线 性 系统 的 足够 多 的 信息 ， 从 而 实现 自 适 
应 的 学 习 。 为 了 将 这 个 学 习 时 间 尽 量 减少 ， 可 以 在 非 线性 系统 的 输入 信号 上 
加 上 少量 的 噪声 。 这 桩 做 使 得 非 线 性 系统 在 一 个 很 短 的 时 间 里 能 够 动态 地 增 
加 更 多 的 运行 点 ， 从 而 使 得 自 运 应 线性 网 络 能 够 更 学 习 得 更 快 。 当然 ， 唆 声 
要 足够 地 小 ， 使 得 其 被 加 上 以 后 不 会 影响 系 统 的 正常 使 用 。 








4.5 线性 系统 辨识 


线性 神经 网 络 能 够 用 于 对 实际 系统 的 建 模 。 当 实际 系统 是 - -个 线 性 系统 或 者 是 接近 线 
性 系统 时 ， 线 性 神经 网 络 能 够 具备 零 误差 或 很 小 的 误差。 
4.5.1 问题 描述 


对 于 “个 线性 系统 ， 假 设 其 对 输入 信号 进行 线性 放大 后 输出 ， 其 线性 变换 关系 为 
y=crtb。 其 中 工 为 输入 ,大 为 放大 倍数 ， 忆 为 平移 量 ， ?》 为 此 系统 的 输出 。 








eeremm 人。 em 
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对 于 这 样 的 一 个 线性 系统 ， 我 们 假设 持续 时 间 为 5 秒 ， 每 25 毫秒 采样 1 次 。 
time=0-0.025:5; 
X=sinfsin(timej.*tmes10); 
plotttime,X): 
tlle( 输 入 信号 T?， 
xlabet 时 间作 
ylabel( 输入 信号? 
在 图 中 绘 出 输入 信号 X 的 曲线 ， 如 图 4-16 所 示 。 





笨 入 信 








和 
6 905 1 15 2 25 3 35 
了 时间 


图 4-16 输入 信号 六 


由 此 线性 系统 的 线性 变换 关系 ， 我 们 可 以 得 到 其 对 输入 信 苇 X 的 输出 T 为 《在 这 里 
我 们 选择 上 =2，2=0.8): 








了 T=X*240.87 
piortime,T); 
title( 系 统 输出 T) 
xlabel(' 时 间 小 
ylabel( 系统 输出 7 
在 鲜 中 绘 出 系统 输出 信号 T 的 曲线 ， 如 图 4 17 所 示 。 
系统 输 JT 

3 一 一 1 

5 : 1 | 

2 1 1 

1 1 [二 1 
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1 NT 

1 

本 
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FF 


网 络 的 输入 P 为 输入 信号 X 的 治 前 值 ， 以 及 其 前 两 个 时 刻 的 值 ， 通 过 它们 来 预测 系 
统 的 输出 T。 
Q=size(CX.2J; 
P=zeros(3.Q); 
PULLQ)=XCLLQ 
RM2.2:Q)=XGLQ-D7; 
PG3.3:Q)=XGLQ-2) 


45.2 建立 网 络 
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这 


由 于 系统 只 有 一 个 输出 ， 所 以 解决 这 个 问题 的 网 络 只 震 要 有 - -个 神经 元 。 这 个 神经 元 
具有 三 个 输入 ， 其 中 一 个 为 输入 信号 的 当前 值 ， 另 外 两 个 为 输入 信和 号 前 是 个 时 刻 的 值 。 
我 们 使 用 newlind 函数 来 设计 上 述 的 神经 元 。 


Tiet=newlindfP TD 
435.3 测试 网 络 


在 设计 好 网 络 后 ， 其 权 值 和 羡 值 就 确定 了 。 下 面 就 可 以 测试 这 个 网 络 的 性 能 。 我 们 使 
用 明 数 sim 仿真 网 络 ， 计 算出 其 对 系统 输出 T 的 估计 值 as 
arsimCnetP); 
为 了 比较 系统 输出 和 网 络 输出 值 之 间 的 差别， 我 们 把 这 着 个 信号 在 局 - -个 图 中 绘 出 ， 
如 图 4-18 所 示 。 
plotime,ar+vtimeT-- 
title(' 网 络 输出 a 与 系统 输出 T); 
xlabel(' 时 间 ?; 
ylabei( 系 统 输出 -网 络 输出 + 
网 阁 输 出 3 与 系 张 输出 下 


3 一 一 - 一 + 一 -一 


系统 输出 -- “网络 输出 + 
= 了 导 一 





图 4-18 “网络 输出 与 系统 答 出 
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从 图 4-18 中 可 以 看 出 ， 系 统 条 出 信号 和 网 络 输 出 信号 能 够 很 好 地 吻合 。 这 说 明了 我 
们 设计 的 网 络 能 够 很 好 地 下 作 。 

为 了 比较 出 两 种 结果 前 细微 差别 ， 可 求 出 网 络 输出 的 误差 《 即 两 种 信 号 的 荃 )， 绽 出 
误差 曲线 ， 如 图 4-19 所 示 。 


2x10 输出 误差 
15 
上 ! 1 
， 
1 
加 ， 
os| ， 
虹 ! 
0 
和 
-05 


oo05 1 15 2 25 了 36 4 45 5 
时 间 


图 4-19 网 络 误差 昌 线 
e=T-a; 
figure; 


plottime,ej; 
tiue( 输 出 误差? 








可 以 看 山 ， 误 美的 量 级 为 10235， 可 见 是 非常 小 的 。 这 正 说 明了 网 络 的 正确 性 。 
例 程 4-5 是 本 问题 的 MATLAB 程序 代码 。 


例 程 4-5 





猎 定 义 输入 信号 并 给 出 其 曲线 
time=0:0.025:5; 
X=sin(sinttime).*timex10): 
plotttime,X); 

tile( 输 入 信和 号 T); 

xlabelC 时 间 ); 

ylabel( 输 入 信和 号) 

Digure 

锣 定 义 系统 线性 变换 函数 , 绘 出 系统 输出 曲线 
T-X*240.8 

plottime,T); 

tle( 系统 输出 T): 
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xlabet( 时 间 信 

ylabel( 系统 输出 

多 定义 网络 输入 

Q=sizeCX2); 

P=zeros(3,Q); 

PULLQ)=X(L1Q); 
PC2.2Q=X0LQ-HD) 
PG,3:Q)=X01(Q-2) 

多 建 立 网 络 

net=newHind(PT); 

% 测 试 网 络 

a-simnebP); 

% 综 出 网 络 输出 a 与 系统 输出 T 
figuee; 

plotktime,ay+time:T -9 

tite(' 网 络 输出 a 与 系统 输出 TJ; 
xlabel' 时 间 小 

ylabel( 系 统 输 出 -- 网络 输出 + 
名 计算 误 荐 ,并 绘 出 其 曲线 
e=T-a; 

figure: 

Blot(time:ej: 

tiue( 输 出 误差 7 

xiabel(' 时 间 ); 
ylabel(" 误 差 ); 








4.5.4 结论 


使 用 线性 预测 器 ， 线 性 系统 模型 不 仅 能 够 用 来 对 线性 系统 进行 无 误差 的 建 模 ， 也 可 以 
对 非 线性 系统 进行 最 小 平方 和 误差 意义 下 的 建 模 。 
当然 ， 如 果 非 线性 系统 的 非 线性 程度 太 高 ， 那 么 使 用 BP 网 络 或 者 径 向 基 网 络 更 合适 


一 些 。 


4.6 自 适 应 系统 辨识 


直面 的 例子 将 设计 一 个 线性 网 络 来 对 -个 线性 系统 进行 自 适 应 办 识 。 通过 对 网 络 的 和 
适应 训练 ， 网 络 能 够 随 者 被 闪 识 的 模型 的 变化 而 相应 地 发 生变 化 ， 从 而 实现 对 它 的 自 适应 


4.6.1 “问题 描述 


给 定 一 个 信号 X， 其 持续 时 间 为 6 秒 ， 采 样 率 为 每 秘 钟 200 次 。 用 这 个 信号 对 系统 进 
行 输入 。 


earnesm 9 。 mm 
err 
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timel=0:0.005:4; 
time2=4.005:0.005:6; 
time=ftimel tmne2]; 
X-sinfsintimex4).*tmesg); 


在 图 上 绘 出 输入 偿 号 曲线 ， 如 网 4-20 所 示 。 



































钢 4-.20 答 入 信和 号 


Piotttime, 双 ); 
tite( 输 入 信和 导 习 ); 
xlabcl( 时 间作 
ylabel( 笨 入 信号 小 
系统 的 笨 出 信 叶 为 T， 其 定义 如 下 所 未。 需要 注意 的 是 ， 系 统 对 于 4 秒 钟 之 前 和 之 后 
又 不 同 的 响应 。 
stepsl1=lengthftime1); 
ITLstate]=filter([1 -0.5],1.X(L:stepsl)); 
steps2=tength(time2); 
T2=fiitertf0.9 -0.6].1XC(1:steps2) + steps Ustate); 
T=fT1T2]; 
在 图 上 绘 出 系统 输出 信号 的 曲线 ， 如 图 4-21 所 东 。 需 要 注意 的 是 ， 虽 然 输入 信号 在 4 
秒 前 后 有 较 大 的 变化 ， 但 经 过 这 个 较 复杂 的 系统 后， 变化 就 不 总 很 明显 了 。 
piokime'T); 
tige( 系 统 输出 T); 
xlabel' 时 间 人 小 
ylabel( 系 统 条 出?; 
网 络 的 输入 了 为 系统 的 输入 信号 X。 网 络 通过 输入 信和 号 的 最 后 两 个 时 刻 的 值 来 估计 系 
统 的 输出 T。 我 们 需要 将 输入 和 输出 信号 转换 成 序列 信号 ， 这 样 才 能 保证 网 络 能 被 不 断 地 


训练 。 
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图 4-21 系统 输出 曲线 


T=con2seq(T); 
Prcon2seq(X); 


4.6.2 网络 的 建立 


使 用 newlin 亲 数 来 建立 网 络 。 这 个 孝 数 能 够 为 我 们 设计 的 具有 两 个 输入 的 神经 元 所 
供 权 重 和 疝 值 。 网 络 具 有 两 个 延迟 输入 ， 最 后 的 两 个 输入 信号 将 用 于 预测 系统 的 输出 。 选 
择 学 习 速率 为 05， 于 是 有 : 
Tr-0.5; 
delays=[0 ]， 
net=newlintminmax(cak2.P{:]))] .delaysiry: 


4.6.3 ” 现 络 训练 





网 络 建立 起 来 后 ， 就 要 对 它 训练 了 。 网 络 的 权重 和 赣 值 现在 就 可 以 使 用 adapt 函数 训 
练 得 到 。 学 习 速 率 已 经 在 newlin 函数 中 被 设置 为 05。 
[netaielj=adapttnet,P'T); 


4.6.4 网 络 测试 


网 络 经 过 训练 后 ， 权 值 和 阔 值 都 已 经 选择 好 了 。 为 了 测试 网 络 的 工作 情况 ， 我 们 将 系 
统 的 实际 输出 了 和 网 络 的 估计 输出 值 a 在 同一 个 图 中 绘 出 ， 并 对 它们 加 上 不 同 的 标记 ， 以 
便于 观察 ， 如 多 4-22 所 示 。 
Plot(ime:cat(2.a[:D,+ vtimevcatt2.T{:]) -7 
tiue(' 网 络 输出 a 与 系统 输出 T); 
xlabel( 时间? 
ylabel(' 系 统 输出 -- 网络 输出 + 





eta (0 。 mm 
err 
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网 台 御 Ha 与 和 和 T 





1 2 


3 
时 间 
图 4-22 网 络 葵 日 a 与 系统 实际 给 出 工 


由 于 信号 过 于 复杂 ， 在 图 4-22 中 两 个 信号 并 不 能 看 得 很 清晰 ， 于 是 我 们 可 以 绘 出 误 
差 曲线 来 进行 观察 ， 如 图 4-23 所 未 - 





输出 总 关 
085| 一 ， 一 - | 
021 1 
ong| 站 1 
041 | 
005- 1 ， 1 ! 


1 2 4 5 人 


3 
对 间 
网 4-23 误差 信和 号 内线 


plotttime,cat(2ef2] 7 
titlet 输 也 误 芪 
xlabel( 时 间 人 
iabei( 误 荆 7; 
从 图 4.23 中 可 以 看 出 ， 网 络 花 了 2.5 秒 的 时 间 来 跟踪 模型 ， 以 后 就 变 得 十 分 精确 了 。 
而 到 了 第 4 秒 时 ， 系 统 发 生 了 突变 ， 网 络 又 化 了 0.2 秒 的 时 间 来 再 次 跟踪 模型 。 
例 程 4-6 是 本 问题 的 MATLAB 程序 。 


例 程 46 





有 定义 输入 信号 并 给 出 其 曲线 


em。 人 1 。。 aemwairmmreemoeme 
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timel=0:0.005:4: 

time2=4.005:0.005:6; 

me=[timel timme2]; 
X=sinfsinftimex4).*time*8); 
plotttime,X); 

titleC 输入 信号 X 

xlabel( 时 间作 

ylabel( 输 入 信和 号); 

多 定义 系统 输出 , 绘 出 曲线 
stepsl=jength(time1l); 
ITlLstate]=fiter([1 -0.5].1.X(l:steps1)); 
steps2=Iengthftime2》; 

T2=filter([0.9 -0.6],1.X((1:steps2) + steps1)state); 
T=ITIT2]; 

figare; 

plotftime,T); 

6be( 系 统 答 出 T); 

xlabel(' 时间; 

ylabel(' 系 统 输 出 小 

名 将 系统 输入 和 给 出 转换 成 序列 信和 号 
T=con2seq(T); 

P=con2scq(X); 

名 建 立 网 络 

Jr=-0.5; 

delays=[0 1]; 
met=newlin(mjnmaxfcat(2.P{:])),TdelaysJny; 
免 训 练 网 络 

fnet,a.e]=adapttnebPT): 

狗 绘 出 网 络 输出 a 与 系统 输出 工 
figure; 

plotttime.cat(2.af: jj + otimescat(2,T( 
tite(' 网 络 输出 a 与 系统 输出 T); 
xlabel(C 时 间 )); 

ylabel( 系 统 输出 -- 网 络 输 出 + 
多 绘 出 说 差 曲 线 

figure; 

plottime:cat(2.ef 3 

title( 输出 误差 ?; 

xlabel( 时间; 

ylabel( 误 差 ); 








46.5 结论 


系统 的 衣 适 应 线性 神经 网 络 模型 可 以 被 用 十 保持 大 量 的 信息 。 例 如 ， 自 适应 模型 能 够 
被 用 来 在 给 定 的 时 间 里 得 到 实际 系统 的 特征 。 又 如 ， 白 适应 网 络 可 以 用 于 监控 系统 中 ， 当 


102 ”到 
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系统 的 值 有 可 能 引起 不 稳定 对， 就 发 出 报警 信号 ， 

和 月 适应 线性 模型 的 另 一 个 用 途 是 利用 它 能 够 找到 一 个 线性 估计 ， 对 非 线 性 系统 行为 进 
行 最 小 平方 和 误差 估计 。 

当 非 线性 系统 在 - -个 给 定 的 运行 点 工作 时 ， 当 适应 线性 模型 能 够 以 高 精度 对 它 进行 盘 
近 。 而 一 只 非 线性 系统 转 到 了 另 一 个 运行 点 ， 自 适应 线性 网 络 也 会 相应 地 转 到 那个 新 的 点 
上 于 作 。 

为 了 保证 线性 系统 模型 对 非 线性 系统 在 最 乱 的 时间 趾 踪 到 当前 运行 点 ， 凡 样 速率 要 中 
够 地 快 。 然 而 ， 为 了 得 到 非 线性 系 绕 足 够 多 的 信息 ， 以 对 其 进行 合理 的 建 模 ， 网 络 需 上 有 
-个 最 小 的 认 知 时 间 。 为 了 尽量 减 小 这 个 时 间 ， 可 以 对 赣 线 性 系统 的 输入 信号 加 入 小 虹 的 
紧 声 ， 这 样 做 使 得 韭 线性 系统 在 -个 很 短 的 时 间 蛙 能够 动态 地 增加 更 多 的 运行 点 ， 从 而 使 
得 自 适 应 线性 网 络 能 够 学 习 得 更 快 。 当 然 ， 紧 声 竟 足够 地 小 ， 使 得 其 被 加 上 以 后 不 会 形 响 
系统 的 止 常 使 用 。 











47 函数 逼近 


在 人 工 神经 网 络 的 实际 应 用 中， 绝 大 部 分 的 神经 网 络 模型 使 用 的 是 BP 网 络 眠 其 变化 
形式 ， 它 也 是 前 向 型 神经 网 络 的 核心 部 分 。 

误 竹 反 传 算法 的 主要 思想 是 把 学 习 过 程 分 为 两 个 阶段 ; 第 一 阶段 〈 正 向 传播 过 程 )， 
给 出 输入 信息 通过 输入 晨 经 隐 含 层 逐 层 处 理 并 计算 每 个 单元 的 实际 条 出 值 ， 第 二 .阶段 〈 反 
向 过 程 )， 若 在 输出 层 未 能 得 到 期 望 的 输出 值 ， 则 逐 层 递归 的 计算 实际 输出 与 期 望 得 出 之 
和 装 值 〈 即 误差 )， 以 便 根 据 此 装 调节 权 值 。 

BP 网 络 有 很 强 的 映射 能 力 ， 要 用 于 ， 

@ 模式 识别 、 分 类 。 用 于 诸 言 、 文 子 、 贺 像 的 识别 ， 用 于 医学 特征 的 分 类 、 论 断 等 。 

@ 函数 再 近 . 用 十 非 线性 控制 的 函数 的 建 模 、 机 器 人 的 轨迹 控制 及 其 他 工业 控制 等 。 

@ 数据 压缩 .在 通信 中 的 编码 压缩 和 恢复 ， 图 从 数据 的 压缩 和 存储 ， 以 及 图 像 特征 

的 抽取 等 。 

本 节 介绍 BP 网 络 在 函数 盘 近 方面 的 应 用 ， 其 他 方面 在 后 型 会 有 介绍 。 

下 返 先 设计 - -个 简单 的 BP 网 络 ， 用 于 对 非 线性 函数 的 逼近 ， 遂 过 改变 该 函数 的 参数 
以 及 BP 网 络 隐 晨 神经 元 的 数 月 ， 来 观察 训练 时 间 及 误差 的 变化 情况 。 









4.7.1 问题 描述 


设 我 们 要 各 近 的 非 线性 函数 为 正 蓄 明 数 ， 其 频率 参数 可 以 调节 。 
p=[1:.05:11; 
tsinfktpiyp); 
pletpt -) 
tige( 要 逼近 的 非 线性 冰 数 ), 
xlabel( 时 间 ?; 
ylabelf 非 线性 通 数 ); 


0 了 wwe 





Li 


设 她 1， 绘制 出 其 曲线 ， 媒 图 4-24 所 示 。 
要 通 近 的 理 线性 冯 数 
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时 间 
赂 4-24 要 台 近 的 非 线性 现 数 由 线 


4.7.2 网络 建立 


使 用 邓 数 newff 建立 BP 网 络 ， 其 中 隐 单 元 的 神经 元 数 日 上 可 以 改变 ， 我 们 在 这 里 先 
取 其 数目 为 10。 另外， 选择 各 袖 经 单元 的 传递 函数 分 别 为 tansig 函数 和 purelin 函数 ， 设 
置 BP 网 络 反 传 函 数 为 tainlm。 

net=newfttminmax(tp),ta.i],ftansig purelin'j,trainlmay: 

在 对 建 好 的 网 络 进行 训 练 之 前 ， 先 看 看 仿真 的 效果 。 

y1=simebp); 

对 仿真 得 到 的 结果 绘 出 其 曲线 ，; 并 与 原 函 数 进行 比较 ， 如 图 4-25 所 示 。 
没有 训 统 的 网 络 仿真 结果 


蔡 中 
量 ] 
是 耳 1 
四 
盆 ? | 
铀 
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上 
四 ] 
| 
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时 间 
图 4.25 未 经 训练 的 网 络 输出 与 原 函 数 比 较 


Piotpt -pl 一) 
te 没有 训练 的 网 络 仿真 结果 
xjabel( 时 间 
yiabel( 仿 旧 输 中 -- 原 两 数 -); 
由于 使 用 new 生 建立 网 络 时 ， 对 权 值 和 阔 值 进行 初始 化 足 随机 的 ， 所 以 未 经 训练 的 网 


amaaeerareaeaemrrnam 。 ] 0 人。 mm 
ee 


RE 
第 4 章 ， 前 向 型 神经 网 络 设计 分 析 _ 苦 MATLAB 他. 居 | 
络 输 出 效果 很 差 ， 而 且 每 次 运行 时 结果 也 不 相 回 。 
4.73 ”网络 训练 





下 面 进行 训练 使 用 函数 train 对 网 络 进行 训练 之 前 ， 必 须 先 设 兽 训 练 参数 。 我 们 设 
置 训练 时 间 为 50 个 单位 时 间 ， 衣 练 日 标 为 误 益 小 于 0.01， 其 他 参数 使 用 默认 值 。 得 到 的 
训练 过 程 误 兰 变 化 如 图 4-26 所 示 。 


met.trairParam.epochs = 50; 





nettrainParam.goal = 0.01: 
mnet=trainnet.p,tD 
在 利用 train 函数 对 网 络 进行 裤 练 执行 以 上 代码 后 ， 在 MATLAB 命令 行 中 将 实时 地 显 
示 出 网 络 的 训练 状态 。 如 下 所 不 : 
TRAINLM, Epoch 0150, MSE 14.2629/0.01, Gradicnt 325,276/1e-010 
TRAINLM.Epoch2/150MSE0.00126849/10.01,Gradient0.47402/1e-010 
从 图 4.26 中 可 以 看 出 ， 对 此 网 络 的 放 练 过 程 非常 快 ， 在 经 过 酒 个 单位 时 间 以 后 ， 网 
络 的 误差 就 达到 了 要 求 。 


Perormancets 0.00126849, Goalis0.01 


Training-Biue Goal-Biack 








02 0D4 0o68 8 1 12 14 186 16 2 
2 Epochs 





图 4-26 训练 过 程 误差 曲线 


4.7.4 网 络 测试 


对 训练 好 以 后 的 网 络 进行 仿真 。 
闻 =simtnebp); 
仿真 得 到 的 结果 如 图 4.27 所 未 。 同时 将 原始 下 线性 虎 数 曲线 和 林 经 训练 的 网 络 仿真 
结果 部 在 此 岁 中 给 出 。 
Piotpi -PPy1Py2 一 ) 
titlef 训练 后 的 网 络 仿 趴 结 果 小 
xiabel(C 时 间 ); 
ylabel(' 仿 发 输出 7 





0S mr 
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从 图 4-27 中 可 以 看 出 ， 这 次 得 到 的 曲线 与 启 始 曲线 很 接近 。 这 说 明 经 过 训练 以 后 ， 
网 络 对 非 线性 疗 数 的 近 效果 相当 好 。 


训练 后 的 网 络 仿真 结 呆 


下 本 
1 08 06 04 02 0 02 04 06 08 1 


时 间 


图 4.27 “训练 后 的 网 站 输出 及 比较 
47.5 讨论 


可 以 试 着 改变 原始 非 线性 函数 的 频率 及 BP 网 络 隐 层 单元 神经 元 的 数目 ， 重 复 上 面 的 
过 程 ， 观 察 它们 对 网 络 性 能 的 影响 。 册 二 篇 幅 关 系 ， 本 处 就 不 袭 述 了 。 可 以 断定 ， 非 线性 
冰 数 的 频率 越 高 ， 则 对 网 络 的 要 求 也 越 高 。 相 应 地 ， 网 络 隐 层 单元 神经 元 数 日 越 多 ， 也 就 
越 能 对 非 线性 程度 越 高 的 函数 进行 更 好 地 通 近 。 

例 程 47 是 本 问题 的 MATLAB 程序 代码 。 


例 程 47 


多 通过 下 面 两 个 参数 值 的 改变 比较 结果 
多 设置 非 线性 邱 数 的 频率 

; 多 设置 网 络 隐 单 元 的 神经 元 数 月 
驶 定义 要 得 近 的 非 线性 冰 数 

p = [1:.05:11; 

t= sin(kkpiy 了 入 

plottp:t-) 

tide' 要 这 近 的 非 线性 函数 小 

xlabel( 时 间 ?; 

ylabel( 非 线性 阔 数 7 

饮 建 立 相 应 的 BP 网 络 

net = newfttminmax(p),[n.1,Ctansig purelin j,rainlm; 
免 对 没有 训练 的 网 络 进行 仿真 

yl1 = simfnetp); 

免 绘 出 仿真 得 到 的 昌 线 

figure 

Plottp -py 一) 











ee | 00 = 
ee 
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titlec' 没 有 训练 的 网 络 仿真 结果 人 
xlabel( 时 间 小 

yiapel( 仿真 输出 --” 蝗 郑 数 -7; 
名 训 练 网 络 
nettrainParam_epochs = 50; 
nettrainParam.goaal = 0.01: 

met = train(nebpD; 

名 对 训练 后 的 网 络 进行 仿 息 
yY2 = simCnetp): 

对 绘 出 训练 后 的 仿真 结果 
figare; 

plot(pt -py1， 5P,y2， 一 )》 
ieC 训 练 后 的 网 络 仿真 结果 小 
xilabel( 时间 

yiabelf 仿真 输出 小 





4.8 胆固醇 含量 估计 


前 面 利用 一 个 简单 的 非 线性 函数 逼近 的 例子 介绍 了 使 用 BP 网 络 的 方法 ， 上 宣 介 绍 一 
个 实际 中 使 用 BP 网 络 的 例子 。 


4.8.1 问题 描述 


这 是 .个 将 神经 网 络 用 于 医疗 应 用 的 例子 。 我 们 将 设计 -个 器 械 ， 用 于 从 血样 的 光谱 
组 成 的 测量 中 得 到 血清 的 胆 辕 醇 含量 级 别 。 我 们 有 264 个 病人 的 血样 值 ， 包 括 21 种 波长 
的 谱 线 的 数据 。 对 于 这 些 病 人 ， 我 们 同样 得 到 了 基于 光谱 分 类 的 胆 国 醇 含量 级 唱 hdi，ld， 
vidl。 第 --- 步 ， 先 将 这 些 数据 读 入 工作 空间 中 ， 对 这 些 数据 进行 规范 化 处 理 ， 然 后 对 它们 
进行 主要 成 分 的 分 析 。 在 MATLAB 6.1 中 有 有 - -个 文件 choles_allmat， 其 中 包含 了 我 们 在 
本 问题 中 需要 的 数据 。 

Joad choles__all 
[pn,meanp,stdp,in,meanustdg=prestd(p,t; 
[ptransvtransMat]=prepcatpn,0.001); 
在 这 里 ， 我 们 删除 了 - - 些 数据 ， 适 当地 保留 了 变化 不 小 于 0.01 的 数据 。 下 面 来 看 转 
换 后 的 数据 矩阵 的 大 小 。 
[R,Q]=sizetptrans) 
得 到 的 结果 为 : 
R = 
于 
六 = 
264 

可 以 看 出 ， 通 过 主要 成 分 分 析 ， 我 们 将 输入 向 量 从 2] 个 减少 到 了 4 个 ， 可 见 原始 数 

据 有 很 大 的 宛 余 。 


0 了。 





&_MATLAB 6.5 辅助 神经 网 络 分 析 与 设计 


下 一 步 将 这 些 数据 分 成 几 个 部 分 ， 分 别 用 于 训练 、 确 证 和 测试 。 将 数据 的 四 分 之 一 用 
于 和 确证， 网 分 之 -用 于 测试 ， 剩 下 的 一 分 之 一 用 于 训练 网 络 。 等 问 隔 地 在 原始 数据 中 抽取 
出 这 些 数据 来 。 





iitr=[1:4:Q 3:4:Q]; 
val.P=ptrans(jivalD; 
Yal.T=tnf:,iiyal); 
test.P=ptrans(:.iitst; 
tesLT=ta(:-iits0:; 
Pirzptrans('litry; 
tb=tnGoiitD; 


4.8.2 建立 网 络 








现在 开始 建立 网 络 。 在 本 问题 中 ， 使 用 - -个 两 层 的 网 络 。 在 隐 含 层 中 使 用 传递 函数 
tan-sigmoid， 在 输出 层 中 使 用 -个 线性 传递 函数 。 在 函数 逼近 问题 或 者 说 是 回归 问题 中 ， 
这 种 结构 的 BP 网 络 是 非常 有 用 的 。 初 步 地 ， 在 隐 含 层 中 设计 5 个 神经 元 单元 〈 当 然 ， 这 
是 含有 很 大 的 猜测 成 分 的 )。 由 于 需要 得 到 的 是 3 个 目标 ， 所 以 网 络 需要 有 3 个 输出 。 


net=newfftminmax(ptrl,[5 3],{'tansig "purelin }"trainlm 
4.8.3 网络 训 练 


使 用 Levenberg-Marquardt 算法 来 训练 网 络 。 
[nettr]=train(tnebptrttr 由 ,上 ,valtest); 
在 利用 train 昂 数 对 网 络 进行 训练 执行 以 上 代码 后 ， 在 MATLAB 命令 行 中 将 实时 地 显 
示 出 网 络 的 训练 状态 。 如 下 所 示 : 
TRAINLM, Epoch Q/100, MSE 3.90837/10. Gradient 847.?75571e-010 
TRAINLM, Epoch 5S1100, MSE 0.38413910, Gradient 26.202911e-010 
TRAINLM, Epoch 10/100, MSE 0.34918/0, Gradient 46.01777le-010 
TRAINLM, Epoch 12/7100, MSE 0.345209/0, Gradicnt 33.7444f1e-010 
TRAINLM, Validation stop. 
在 12 个 训练 单位 以 后 ， 由 于 确证 误 莽 的 增加 ， 训 练 停止 。 分 别 将 训练 误差 、 确 证 误 
差 和 测试 误差 帅 线 在 同一 幅 图 中 绘 出 ， 这 样 可 以 更 加 直观 地 观察 到 训练 的 过 程 。 使 用 下 列 
的 代码 得 到 训练 过 程 误 养 ， 如 岁 4-28 所 示 。 





ylabel( 平方 误差 小 
xlabetf 时 间 入 


ea 1 () 史 = 





age 
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3 


， 训练 
确证 
25 汕 试 
2 
炎 
刁 15 
妈 
四 
和 
05 
aa 
0 人 
| 出 间 


图 4.28 训练 过 程 
上 面 得 到 的 结 提 是 合理 的 ， 测 试 集 合 误差 和 刁 证 集 全 的 误差 有 相似 的 性 质 。 
4.8.4 分 析 及 讨论 


下 面 对 网 络 的 响应 进行 - 些 分 析 。 我 们 将 所 有 有 的 数据 〈 包 括 训练 、 依 证 和 测试 ) 通过 
网 络 ， 然 后 对 网 络 输 出 和 相应 的 目标 进行 线性 回 儿 。 在 这 之 前 ， 要 对 网 络 的 输出 进行 反 规 
范 化 变换 。 

an=sim(aet,ptrans); 
a=poststd(anumeantstdb: 
fori=1:3 

figure() 
TD,b(DxD=postregtaGi 
end 

这 样 ， 得 到 了 三 组 输出 ， 所 以 进行 二 次 线性 加 归 。 结 果 分 别 如 图 4-.29 (a)、4-29 (pb)、 
4-29 (ce) 所 未 。 








0 


BestLinear Fit A= (0.7071T+ (19) 8 吕 in Fi 


400 扫 =T 
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300| 





图 4-29 (a) ”级 卉 为 hdl 的 线性 回归 


DO9 
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Besttinear Fit A =10.802) T+ (23.8) Data Points 
国生 Best Linear Fit 
1 册 = 下 
a00; R=0861 
250 





图 429 (b) 级别 为 Jd 的 线性 回归 





BestLinearFit A= (0.366)T+ (27 Data Poirts 
0 (03697+ 人 7 当 Best Linear Fit 
A=T 

1 R=0556 

ij 

80 
< 60 

40| 

20: 

和 四 
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图 4-29 fc) 级别 为 vidl 的 线性 回归 


可 以 看 出 ， 前 面 的 是 个 输出 对 日 标的 跟踪 比较 好 〈 人 毕竟， 这 是 个 很 复杂 的 问题 )》， 相 
应 的 值 接近 0.9。 而 第 三 输出 《〈vYldl 级 曾 》 却 并 不 很 理想 。 我 们 很 可 能 需要 在 这 -点 上 
做 更 多 的 工作 。 可 能 需要 使 用 其 他 的 网 络 结构 《使 用 更 多 的 隐 食 层 神经 元 )， 或 者 是 在 训 
练 技术 上 使 用 贝 叶 斯 规范 化 方法 而 不 是 使 用 早 停 的 方法 。 当然， vdl 级 别 也 有 可 能 本 来 
就 不 能 用 给 定 的 光谱 组 成 来 进行 精确 的 计算 。 

有 兴趣 的 读者 可 以 白 己 试 着 对 这 个 网 络 模型 进行 改进 ， 以 得 到 更 好 的 效果 。 这 里 再 给 
出 将 隐 层 神经 元 数目 改 为 20 时 得 到 的 结果 。 与 前 面 的 网 4.28、 图 4-29 《a)、 图 4.29 (b) 
图 429 (e) 对 应 ， 分 别 得 到 图 4.30、 图 431 (a)、 图 4-31 (b)、 图 4-31(c)。 
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图 4-31 bj) 级 别 为 dl 的 线性 回归 
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Best -inear Fit 
=T 


BestLinearFtt A=(0495}T+(20 司 Data Points 
120 ， 


R=0.59 
100 





0 2 40 60 80 100 120 


图 4-31 (c) 级 别 为 vhd] 的 线性 加 归 


可 以 看 出 ， 隐 层 神经 元 单元 的 数 日 增加 为 20 以 后 ， 网 络 训练 过 程 的 二 种 误差 非常 接 
近 ， 而 相应 的 对 口 标 结果 和 输出 结果 进行 线性 回归 ， 得 公 的 结果 为 : 前 面 两 种 回归 效果 较 
好 ， 但 比 神经 单元 增加 前 反而 归 养 - 点， 第 一 种 回归 效果 则 比 增加 前 监 好 一 些 。 相 应 的 分 
析 在 这 里 就 不 再 给 出 了 ， 有 兴趣 的 读者 可 以 自己 试 着 给 出 。 

例 程 4-8 是 本 问题 的 MATLAB 程序 代码 。 

















回 











例 程 4-8 





免 导入 原始 测 星 数 据 
load choles_all; 


多 对 原始 数据 进行 规范 化 处 理 


[pnmeanp,stdp,tnumeanbstdt]=pPresttKp,D; 
ptransstransMatj=prepca(pr0.0017; 
IR.Q]=size(ptrans) 

怠 将 项 始 数据 分 成 目 个 部 分 作为 不 同 用 途 





net=newfftminmax(ptr[S 31.{Ytansig purelin jcrainlm; 
驶 训 练 网 络 

nettrainParam show=9 
faettrl=train(neLptrttc[,[],vwvD: 


驴 绘 出 训练 过 程 中 各 误 芜 的 变化 旧 线 


rananse 上 | 了。 mm 
rear 


5 


ws peieemiigil3 析 四 MATLAR 6.5 Re 


Pilotttrepochutrperf.T urepoch icvperf'g， 
外 epochutrtperd -hb 






ylabel( 平方 误 关 小 
xlabetCI 时 加 小 
pause; 

免得 到 各 个 线 剂 的 经 灯 的 线性 名 归结 染 ， 并 绽 出 曲线 
an=simtnetptrans); 

a=poststdtanmcantstdt: 

fori=1:3 

figuretD 

[mti,bGurfD] = postreg(a(i2ttL27): 

end 





4.8.5 结论 


多 屋 网 络 能 够 对 任意 的 线性 或 者 非 线性 打数 进行 i 
络 有 感知 器 网 络 和 线性 网 络 无 法 比拟 的 优势 。 但 是 ， 





近 ， 其 精度 也 是 任意 的 . 这 样 的 网 
需 昌 注意 的 号 ， 存 在 这 样 的 情 阅 ， 电 





然 在 济 绑 时 网 络 友 现 出 很 好 的 性 能 ， 但 是 BP 网 络 并 不 一 定 总 能 找到 甬 。 


另外 ， 昌 然 在 上 病 没 有 志和 到 ， 但 是 在 训练 时 ， 
在 影响 的 。。 





速率 和 训练 算法 对 网 络 的 性能 者 是 
习 速率 太 提 则 要 化 费 大 多 的 时 间 。 而 





习 速 率 太 快 可 能 引起 个 稳定 ， 相 上 友 ， 学 


且 ， 不 像 线性 网络 财 样 ， 对 于 非 线性 多 层 网 络 ，BP 网 络 没有 很 好 的 办 法 刚好 找 公 的 合适 
的 学 习 速 率 ， 

最 乒 ，BP 网 络 对 隐 含 层 的 神经 元 数目 也 契 很 敏感 航 、 神 经 元 太 少 ， 网 络 就 很 难 适 ， 
而 太 多 的 话 ， 又 可 能 设计 出 超 于 应 的 网 络 。 


49 特征 识别 


使 用 机 器 米 进行 模式 的 识别 是 一 项 非常 有 有 几 的 工作 。 能 够 办 列 符号 的 机 器 是 很 有 价值 
的 。 如 朵 机 器 能 识别 银行 的 签字 ， 那 么 它 就 能 在 可 加 的 时 间 下 做 比 人 多 得 多 的 工作 。 这 种 
引用 不 仅 省 时 ， 而 日 省 钱 ， 回 时 还 能 将 郑 个 仇 系 复工 作 《〈 辨 别 签字 》 的 人 解放 出 来 下 前 
就 用 BP 网 络 的 方法 来 设计 一 个 能 完成 特征 识别 任务 的 网 络 、 


4.9.1 


问题 描述 


设计 -个 网 络 并 训练 它 来 识别 字母 表 由 的 26 个 字母 。 这 些 字 生 已经 被 数字 成 像 系 统 
数字 化 了 。 其 结果 是 对 应 锤 个 字 入 有 ”个 5X7 的 布尔 量 网 格 。 例 如 ， 阁 4-32 中 显 从 的 就 
是 字母 A 的 网 格 图 。 
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图 4-32 字 泵 A 的 网 格 图 


但 是 ， 图 4.32 只 是 理想 图 像 系 统 得 到 的 结果 ， 实 际 中 的 图 像 系 统 总 会 存在 一 些 噪声 
干 执 或 者 是 非 线性 因 素 ， 实 际 得 色 的 字母 的 网 格 图 如 图 4.33 所 不。 

















图 4-33 带 有 噪声 的 字母 A 的 网 格 图 


设计 的 网 络 要 不 仅 能 够 对 理想 的 输入 向 量 进行 很 好 的 分 类 ， 也 要 对 含有 误差 的 输入 向 
量 有 合理 的 准确 度 。 

在 本 问题 中 ，26 个 售 35 个 元 素 的 输入 向 量 被 定义 成 一 个 输入 向 量 托 阵 alphabet。 上 月 
标 向 最 也 被 定义 成 -个 变 景 targets。 每 个 月 标 向 量 含有 26 个 元 素 。 向 量 代表 某 个 字母 ， 
则 其 对 应 位 置 的 元 素 什 为 1， 而 其 他 位 置 的 元 素 值 为 0。 例 如， 字母 A 对 应 的 向 量 ， 其 第 
一 个 位 辕 的 元 素 值 为 1 (因为 A 是 字母 表 中 的 第 -- 个 字母 ) 而 从 第 2~26 个 位 置 的 元 素 值 
均 为 0。 


4.9.2 ”神经 元 网 络 


设计 的 网 络 把 35 个 布尔 值 作为 - .个 具有 35 个 元 素 的 输入 向 量 。 需 要 网 络 通过 输出 一 
个 具有 26 个 元 素 的 输出 向 量 来 区 分 字母 。 这 个 26 元 素 向 量 的 每 -个 代表 着 一 个 字母 。 在 
正常 运行 的 情况 下 ， 对 于 -一 个 输入 字母 ， 网 络 要 能 笨 出 “个 向 量 ， 它 的 对 应 位 置 元 素 值 为 
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1， 其 他 的 值 为 0。 

除 此 之 外 ， 网 络 还 必须 能 够 有 容错 能 力 。 在 实 幅 中 ， 网 络 不 可 能 接收 到 一 个 理想 的 布 
尔 向 量 作为 输入 。 假 设 设计 的 网 络 能 够 在- 一定 的 客 错 能 力 ， 对 于 输入 向 旺 ， 苦 其 噪 卢 均 值 
为 0， 标 准 差 不 人 于 0.2， 旭 能 够 分 辨 出 米 。 

1. 网 络 结构 

为 了 辨别 字母 ， 所 设计 的 网 络 需 要 有 有 35 个 输入 ， 在 输出 层 ， 则 需要 有 26 个 坑 经 元 。 
我 们 设计 -个 布 两 层 结 榴 log-sigmoid/log-sigmoid 网 络 。 之 所 以 选择 log-sigmoid 上 数 ， 
是 因为 它 的 输出 范围 《9 到 1) 正好 适合 在 学 习 后 输出 布尔 人 。 

其 网 络 结构 如 图 4-.34 所 术 。 

Input Hidden Layer Output Layer 








Jogsi 人 Wiip hb) 2 OSIiSs(LW285+b2/ 


图 4-34 网 络 结构 


在 网 络 的 隐 含 层 〈 第 一 层 ) 设计 了 10 个 神经 元 。 关 于 神经 元 的 数目 选择 不 仅 需 权 经 
验 也 还 要 有 猜测 的 成 分 . 
训练 网 络 就 是 要 使 其 将 输出 向 量 中 正确 的 位 置 设置 为 1， 其 余 位 置 全 为 0， 然 而 ， 由 
二 只 卢 信号 的 引入 ， 网 络 就 可 能 不 会 输出 正确 的 1 或 0 信号 。 企 网 络 被 训练 后 ， 将 带 有 陨 
声 的 字母 们 号 输 入 网 络 ， 就 会 在 正确 的 位 置 上 得 筷 1 和 0。 
2. 初始 化 
使 用 函数 new 生 创建 “个 两 层 网 络 。 
S1=10: 
1R.Q]j=sizelalphabeb:% alphabet 人 prprob 冰 数 中 有 定义 
[S2.Q]=sizettargetsj; % targets 存 prprob 函数 中 有 定义 
Palphabet' 
met=newfftminmax(P),[S1 S24.14o8sig logsig ivtaingdx; 
neLLW{2.1i=neLLW[2,11*0.01: 
metbf21=neLbl2]*0.01; 
3. 网 络 训练 
为 了 使 产生 的 网 络 对 输入 向 量 有 一 定 的 容 钳 能 力 ， 最 好 的 办 法 是 既 使 用 理想 的 信号 和 
又 使 用 带 有 噪声 的 信号 对 网 络 进行 训练 。 我 们 的 具体 做 法 是 先 用 理想 的 输入 信号 对 网 络 进 
行 训练 ， 直 钊 其 平方 和 误 站 是 够 小 。 
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接 下 来 ， 使 用 10 组 理想 信号 和 带 有 噪声 的 信号 对 网 络 进行 训练 。 在 输入 带 有 误差 的 
向 基 时 ， 要 输入 两 倍 重复 的 无 误 莽 信号 ， 这 样 做 的 目的 是 为 了 保证 网 络 在 分 辨 理想 输入 向 
量 时 的 稳定 性 。 
在 网 络 进行 了 上 述 的 训练 以 后 ， 网 络 对 碟 误 差 的 信号 可 能 也 会 采用 对 付 带 有 噪声 信和 号 
的 办 法 。 这 样 做 就 会 付出 较 大 的 代价 。 因 此 ， 我 们 可 以 再 一 次 训练 网 络 。 这 一 次 就 只 使 用 
理想 的 向 量 进行 训练 。 这 样 就 可 以 保证 在 给 入 端 输 入 理想 字母 信号 时 ， 网 络 能 够 最 好 地 对 
其 做 出 芭 应 。 
以 上 所 有 的 训练 都 是 使 用 BP 网 络 来 实现 的 。 网 络 学 习 的 速率 和 冲 量 参数 设置 为 自 适 
应 改变 。 使 用 函数 trainbpx 进行 快速 训练 。 
4. 无 匠 声 的 训练 
开始 时 使 用 无 噪声 的 信号 对 网 络 进行 训练 。 当 训练 时 间 达 到 3000 个 时 间 单位 或 者 是 
网 络 平方 和 误差 小 了 0.! 时 停 直 网络 的 洲 练 。 
P=alphabet; 
Ttargets: 

















met.pertormFcn='sse' 
nettrainParam.goaj=0.1， 
nettrainParantshow=20; 
mettrainParam.epochs=3000: 
nettrainParam.mc=0.95; 
[nebtrj=traintnebPT): 


Performance is 0.099383, Goalis 0 
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贸 4-35 “无 噪声 训练 过 程 误差 变化 情 沈 
训练 过 程 误差 变化 情况 如 图 4-35 所 示 。 观 察 其 曲线 可 知 训练 指标 能 在 较 快 的 时 间 内 
达到 。 下 面 列 出 了 在 MATLAB 命令 行 中 实时 地 显示 出 的 网 络 的 训练 状态 。 从 这 里 也 可 以 
观察 出 误 莽 的 变化 情况 。 
116 ” 虽 


pri 





dg 


TRAINGDX.Epoch0/5000. SSE 168.123/0.1, Gradient 64.998271e-000 
TRAINGDXK,.Epoch20/5000,SSE25.4428/0.J,Gradient0,.435457]e-006 
TRAINGDXK,Epoch40/5000,SSE25.8033/0.1,Oradient0.1934971e-006 
TRAINGDX.Epoch60/3000,SSE25.8669/0.1,Oradienr0.15222/1e-006 
TRAINGDX,Epoch8075000.SSE25.878310.4Gradient0.14765/ie-006 
JRAINGDX,Epoch10015000,SSE25.8748j0,1.Gradient0.1559/ie-006 
TRAINGDX,Epoch12015000,SSE25.853S101,Gradient0.185971e-006 
TRAINGDX,Epoch140/5000.SSE25.7436H.1LGradient0.31S971e-006 
TRAINGDX,Epoch160/5000,SSE25.151770.1.Gradient0.5746/le-006 
TRAINGDX,Epoch180/5000.SSE23.115570.1,Gradient0.707571e-006 
TRAINGDX.Epoch200/5000.SSE18.0836/0.1,Gradient0.7858/1e-006 
TRAINGDX,Epoch220/5000,SSE9.7939170.1,Gradienr0.6748/1e-006 
TRAINGDXEpoch24015000,SSF8.332370.1.Gradicnt1.3517971e-006 
TRAINGDX,Epoch26015000,SSE7.645110.1.Gradient1.5499/1e-006 
TRAINGDX,Epoch280/5000.SSE7.0786310.1,Gradient0.226371e-006 
TRAINGDX,Epoch300/5000.SSE6.5732610.1.Gradient0.5750/le-006 
TRAINGDX,Epoch320/5000,SSE4.9155370.LGradient0.430371e-006 
TRAINGDX,Epoch340/5000,SSE3.2150710.I,Gradient0.411971e-006 
TRAINGDX.Epoch360/15000,SSE1.49677/0.1,.Cradient2.4136/1e-006 
TRAINGDX,Epoch38015000.SSE1.1833770.1,Gradient0.460S/1e-006 
TRAINGDX,Epoch400/5000,SSE1.3788170.1.Gradient1.187471 ce-006 
TRAINGDX.Epoch42015000.SSE0.5995/0.1,Gradijent0.2431ie-006 
TRAINGDX,Epochd44015000,SSE0.4395310.1Qradieni0.135/1e-006 
TRAINGDX,Epoch46015000,SSEU0.281940.1.Gradient0.08366/1e-006 
TRAINGDX,Epoch48015000.SSE0.153L0.L,Gradicnt0.03703/1e-006 
TRAINGDX,Epoch493/5000.SSE0.097670.1.Gradient0.0219271e-006 
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3. 含有 噪声 信号 的 训练 


为 了 保证 设计 的 网 络 对 噪声 不 敏感 ， 可 用 理想 的 字 侠 表 疝 量 和 加 了 晓 卢 的 字母 表 疝 量 


分 别 训练 阅 络 。 设 置 向 字母 表 向 最 加 入 的 


信号 平均 值 分 别 为 0.1 和 0.2。 这 样 就 可 以 


保证 神经 元 网 络 学 会 在 辨别 带 噪声 信号 的 字母 表 向 量 时 ， 也 能 对 理想 的 字母 袁 向 最 有 正 铺 


的 识 列 。 


另外 ， 设 置 网 络 对 含 噪 岂 信号 的 册 是 进行 训练 的 最 天 时 间 为 300 个 单位 时 间 ， 并 且 把 误 
差 参数 也 增加 到 0.6。 之 所 以 要 提高 误 送 参数 ， 是 因为 这 次 的 训练 向 景 《 其 中 一 些 向 量 全 


有 误 美 ) 增加 了 四 倍 。 
metn=net; 
netn,trainParam.goal=0.6; 
netrutrainParam,epochs=300: 
T=[targets targets targets targets]; 
for pass=1:10 
P=lalphapet, alphabet … 
《alphabet+randn(R,Q)*0.1D … 
(alphabet+randn(R.Q)#0.23) 
[netnvtrj=train(netn,PT); 
end 
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在 输入 端 字母 表 向 量 上 加 入 噪声 信号 后 ， 网 络 的 训练 过 程 误差 变化 情况 如 图 4-36 〈a7 
所 示 。 由 于 这 次 的 训练 次 数 很 多 (10 次 ) 故 将 它们 的 曲线 图 缩小 后 给 出 来 , 从 图 4-36(a) 一 
图 4-36 〈j) 上 能 看 到 它们 的 变化 规律 。 观 察 这 些 曲线 可 知 训练 指标 能 在 很 快 的 时 间 内 达 
到 。 在 训练 的 同时 ， 在 MATLAB 命令 行 中 能 够 实时 显示 出 网 络 的 训练 状态 。 电 于 训练 次 
数 太 多 ， 故 此 处 略 去 ， 有 兴趣 的 读者 可 以 自己 试 着 用 本 程序 的 代码 来 得 到 它们 。 从 这 些 状 
态 和 输出 中 也 可 以 观察 出 误差 的 变化 情况 。 


1 Performance is 0.584341, Goalis06 
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图 4.36 {b) “有 噪声 训练 过 程 误 养 变化 情况 
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贸 4-36 〈c》 ”有 噪声 训练 过 程 误 差 变化 情况 
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图 4-36 (d) “有 个 声 训 练 过 程 误差 变化 情况 
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4-36 (e) “有 取 声 训练 过 程 误差 变化 情况 
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图 4-36 (8) ”有 吧 声 训练 过 程 误 益 变 化 情况 
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图 4-36 (hb) “有 了 只 声 训练 过 程 误差 变化 情况 
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图 4-36 〈i) ”有 陈 声 训练 过 程 误差 变化 情况 
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网 4-36 (j) ”有 噪声 训练 过 程 误差 变化 情况 


6. 再 次 对 无 噪声 信号 训练 

上 面 已 经 用 含 噪声 的 信号 对 网 络 进行 了 训练 ， 为 了 保证 网 络 总 是 能 够 十 确 地 对 理想 箱 
入 信号 进行 分 类 , 我 们 需要 再 一 次 用 无 噪声 的 理想 信号 对 网 络 进行 训练 。 所以， 使 用 与 “ 含 
有 只 声 信号 的 训练 ”中 相同 的 代码 ， 具 体 代码 从 咯 。 


4.93 ”系统 性 能 评估 


为 了 测试 我 们 设计 的 神经 网 络 模式 识别 系统 的 可 靠 性 ， 我 们 用 数 百 个 加 入 了 不 同 数 晨 
噪声 的 字母 表 向 量 作为 输入 ， 来 观察 其 输出 结果 。 
例 程 49 是 系统 性 能 评估 的 代码 。 





下 





阁 辅助 神经 网 络 分 析 与 设计 





例 程 4.9 





noise_range=0:0.05:0.5; 
Iax_test=100; 





noiselevel(i)=noise_range 人 i); 

emorsl10D=0; 

errors20D=0; 

forj=1:max_test 

了 -alphabettrandn(35,26)*noiselevelt; % 测试 未 经 误差 训练 的 网 络 
A=simnetbP); 

AAA=compet(A]; 

ermrorsl(f)=errorslG)+sumksumlabs(AA-T)))/2; % 测试 经 过 误差 训练 的 网 络 
An=sim(netn,P); 

AAAn=compet(An); 

errors2()=errors2(G)+sum(sum(abs(AAn-T)))A2: 

end 

end 

Pause 

figure 

Piotlnoise_rangeerrors1*100,--vnoise_rangeerrors2*100)， 
title( 识 别 错 误 率 ?; 

xlabel( 吧 声 指标 ); 

ylabel( 未 经 误差 训练 的 网 络 - - ”经 过 误差 训练 的 网 络 --); 











在 本 问题 中 ， 使 用 不 同 级 别 的 误差 信号 ， 并 且 绘 出 了 网 络 输出 错误 与 噪声 信号 的 比较 

的 曲线 ， 如 图 4-37 所 示 。 
| _ 识 副 博 训 率 
由 
2 
六 10 了 
四 
晶 a _。 ] 
， 时 了 
二 上 ] 
2| 4 “ “ ] 
四 : 
村 由 

蝇 声 指标 


图 4-37 ”识别 错误 率 曲线 


加 到 网 络 输 入 向 量 上 的 噪声 均值 为 0， 标 准 差 范围 为 0 一 0.5。 在 每 个 噪声 级 别 上 ， 分 
别 有 100 个 不 同 版 本 的 噪声 信号 被 加 到 每 个 字母 向 晤 上 ， 然后 用 设计 的 网 络 计算 其 输出 。 
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将 输出 通过 竞争 传递 函数 ， 保 证 26 个 输出 《代表 字母 表 中 的 字母 ) 中 只 有 一 个 的 值 为 1， 
其 余 均 为 0。 

4-37 中 的 实 线 显 示 的 是 既 经 过 噪声 信号 又 经 过 非 噪声 信号 训练 后 的 网 络 的 可 靠 性 。 
而 虚线 显示 的 则 是 同样 的 网 络 只 经 过 非 噪声 信号 而 没有 经 过 噪声 信号 训练 的 网 络 的 可 靠 
性 。 从 图 4-37 上 的 曲线 可 以 看 出 ， 网 络 经 过 含 噪声 信号 的 输入 训练 后 ， 其 容错 能 力 有 了 
非常 明显 的 增强 。 

当 输 入 向 量 的 误差 平均 值 为 0 或 0.05 时 ， 网 络 识别 没有 错误 。 但 是 当 误 闫 平 均值 达 
到 0.2 时 ， 两 个 网 络 都 开始 产生 误差 。 

如 果 需 要 有 更 高 的 精度 ， 一 种 办 法 是 增长 网 络 的 训练 时 间 ， 另 一 种 办 法 是 增加 网 络 隐 
含 层 的 神经 元 数 日 。 当 然 ， 把 输入 的 字母 表 向 量 从 5SX7 的 网 格 增加 到 10X 14 的 网 格 也 是 
一 种 办 法 。 曙 外 ， 如 果 网 络 要 求 对 误 英 信号 有 更 高 的 可 靠 性 ， 还 可 以 在 训练 时 增加 输入 向 
量 的 误差 的 数量 。 

为 了 测试 系统 ， 可 试验 几 个 实际 的 字母 A、F、K、P、U、Z， 并 对 它们 加 入 误差 信 
号 ， 然 后 把 它们 输入 到 网 络 中 ， 观 察 其 得 到 的 输出 ， 如 图 4-38 (a) 一 图 4-38 〈d) 所 示 。 

for index=1:5:26 
noisyJ=ajphabet(:,index)+randn(35,1)*#0.2; 
figure; 

plotchar(noijsyJ); 

A2=simCnebnoisyJ; 

A2=compet(A2); 









































图 4.38 (a) 含 噪声 的 输入 字母 及 识别 结果 












































图 4-38 (b) 售 噪 声 的 输入 字母 玫 识 别 结果 - 


2 
var 
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图 4-38 (c) 会 嗓 声 的 输入 字母 及 识别 结果 











到: 
- 灶 








图 4-38 (d) 含 噪 声 的 输入 字母 及 识别 结果 二 


answer=find(compet(A2)==1): 
和 gure; 
Plotcpar(atphabet(:,answen); 
end 


图 4.38 (a) 一 图 4-38 (d) 分 别 绘 出 了 含 噪声 的 输入 字母 图 和 网 络 识别 后 的 输出 字母 





图 。 可 以 看 出 ， 网 络 正确 地 识别 出 了 这 些 字母 。 所 以 本 设计 是 比较 成 功 的 。 
例 程 4-10 古本 问题 的 MAITLAB 程序 代码 。 


例 程 4-10 





免 网络 初 始 化 

[alphabettargets]=prprob; 

[R,Q]=size(alphabe0; 
,Q]=sizettargets) 





了 =alphabet; 
net= newffminmax(P),[S1 S2],[logsig''logsig'],traingdx'); 
netLW{2.1}=neLLW{2.1}*0.01: 

metb{2]=netb[2j*0.01， 


min。 ] 了 4。 mm 





Si 


一 pasepesior s MATLAL6.5 Ga 
T=targets; 


和 网 络 训练 参数 设置 
net.performFcn='sse 
TiettrainParam.goal=0.1; 
met.trainPararn.show=20， 
met.trainParar.epochs=5000: 
nettrainParam.rmc=0.95; 

名 开始 对 无 误差 输入 向 量 进行 训练 
fnetbtrj=trainnet PT 

台 阅 络 训练 参数 设置 ,并 对 有 误差 输入 问 重 进行 训练 
netm=neti; 
netntrainParam.goal=0.6; 
metn.trainPararm.epochs=300， 
T=Frargets targets tatgets targets]; 
Pause 

forpass=1:10 
P=falphabetalphabet，… 
(alphabettrandn(R,Q)*0.1) 
《alphabetHrandn(R,Q)*0.2); 
Inetntn=train(netn,B'T)， 

pause 

end 

人 网络 再 次 对 无 误差 输入 向 量 进 行 训练 
了 P=alphabet; 

Ttargets; 

metperformFcn='sse' 
mettrainParam,goal=0,1， 
PettrainParam.show=20; 
DeftrainParam.epochs=5000; 
netLtrainParam.mc=0.95; 
fnettrj=train(netPT); 

panse 

多 测试 网 络 的 容错 性 
noise_range=0:0.05:0.5; 
max_test=100; 





errors10)=0; 








emrors2(D)=0; 
forj=1:max_test 
P=alphabettrandn(35,26)*noiselevyeli); 
多 测试 检 经 误差 训练 的 网 络 


A=simGnetP); 


人 
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扩 和 =coInPet(A 和 六 
errors1(D=errorsl(i)+sum(sumfabs(AA-T))X23 
色 测试 经 过 误差 训练 的 网 络 


An=simnetn,P)， 


AAAn=compet(An]; 
errors2G)=errors2(i)+sam(sum(abs(AAn-T)12; 


end 

End 

pause 

figure 
DJlottnoise_rangeerrors1#+100'--noise_Tange,errors2*100); 
te 识别 错误 率 小 

xjabel( 噪声 指标 ); 


ylabel(' 未 经 误差 训练 的 网 络 - - ”经 过 误差 训练 的 网 络 -下 
免 对 实际 含 噪声 的 字母 进行 识别 

for index=1:5:26 
aoisyJ=alphabet(:index)+randn(35,1)40.2: 
figure; 

plotchartnoisyJJ; 

A2=sim(netbnoisyJ;; 

A2=compet(A2); 
answer=find(corapetA2)==]); 

figure; 

plotchartalphabet(:answen): 

end 





4.9.4 结论 


在 这 个 应 用 中 讨论 了 设计 一 个 简单 的 模式 识别 系统 的 设计 方案 。 需 要 引起 注意 的 是 ， 
网 络 的 训练 过 程 不 只 是 包含 一 个 训练 函数 ， 它 还 需要 用 不 同 的 输入 向 量 进行 很 多 次 训练 。 

在 本 问题 中 ， 使 用 了 不 同 的 噪声 向 量 作为 输入 来 训练 网 络 ， 使 得 网 络 具有 了 容错 的 能 
力 ， 这 样 更 适合 在 现实 环境 中 使 用 。 


4.10 径 向 基 函 数 网 络 设计 
乱 向 基 函 数 网 络 比 标准 的 前 向 型 BP 网 络 需 要 更 多 的 神经 元 ， 但 是 它 能 够 按时 间 片 来 
训练 网 络 。 当 有 很 多 的 训练 向量 时 ， 这 种 网 络 很 有 效果 。 


径 向 基 函 数 网 络 由 两 层 组 成 ， 第 一 计 为 隐 含 的 生 向 基层 ， 第 二 层 为 输出 线性 层 。 其 网 
络 结构 如 图 4-39 所 示 。 


aaarreemmm 120。 mm 
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图 4-39 径 向 基 图 数 网 络 结构 
我 们 将 设计 -个 径 向 基 表 数 网 络 用 于 完成 函数 逼近 的 任务 。 
4.10.1 问题 描述 


已 知 一 个 函数 ， 设 计 -个 径 向 基 函 歼 神经 网 络 来 对 它 进行 锅 近 。 不 妨 设 需 缆 逼 近 的 函 








平 = -1 
T=sin(pisPy; 
绘 出 在 此 正弦 函数 上 的 来 料 点 ， 如 图 4-40 所 示 。 
相应 的 代码 为 : 
Piot(P,T'+ 和 
te( 待 逼近 的 函数 样本 点 少 
Xiabel( 输入 值 ); 
ylabel( 上 月 标 值 ); 
， ”和 兰 现 近 的 函数 样本 友 
or | 
106 
04 
晶 呈 ) 
用 ， 
吴 02 
.04 
al ] 
8 ] 
人 朴 和 
输入 恒 


北 4.40 符 远 近 的 函数 样本 点 


2 
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4.10.2 ”网 络 的 建立 











下 面 是 建立 一 个 网 络 ， 使 得 其 能 够 与 这 些 已 知 的 样本 点 相 匹配 。 径 向 基 函 数 网络 具 有 
两 层 结构 : 隐 含 层 径 向 基 神 经 元 和 输出 层 线性 神经 元 。 设 计 隐 含 层 的 径 向 基 传递 函数 如 下 ， 
在 图 4-41 中 绘 出 了 其 曲线 。 


























日 =-3:.13 
a = radbas(p); 
人 figure 
Diotp,a) 
title(' 径 向 基 传 递 函 数 让 
xlabel( 输 入 小 
ylabel( 输 出); 
径 向 基 传 递 枉 数 
99 
0.8- 
07 ; 
0.6f ] 
寻 05 
04| 
03| 1 
02 : 
04- - 
; 2 、 | 
05 2 1 0 1 2 3 
输入 


图 4-41 隐 会 层 径 向 基 旺 数 


径 向 基 函 数 网 络 隐 含 层 中 每 个 神经 元 的 权重 和 阔 值 指定 了 相应 的 径 向 基 函 数 的 位 置 和 
宽度 。 每 一 个 线性 输出 神经 元 都 由 这 些 径 向 基 函 数 的 加 权 和 组 成 。 只 要 每 一 层 都 有 正确 的 
权重 和 来 值 ， 并 且 有 足够 的 隐 含 层 神经 元 ， 那 么 径 向 基 函 数 网 络 就 能 够 以 任意 的 精度 来 各 
近 任意 的 函数 。 

下 面 给 出 一 个 示例 ， 绘 出 了 三 个 径 向 基 函 数 ， 并 且 用 它们 的 加 权 和 产生 了 一 个 新 的 函 
数 ， 如 图 4.42 所 示 。 虚 线 代表 径 向 基 函 数 ， 实 线 为 它们 的 加 权 和 函数 。 

a2 = radbas(p-1.5); 
a3 = fadbas(p+27 

a4=a+a2#1 + a3*0.5: 

figure; 

plotp,aub--5p.a2,b--…p,a3,b--,P,a4,m) 

tige( 径 向 基 函 数 的 加 权 和 7; 








ae 1 28。 mm 
aargprergprpreretaaeam 


本 
第 4 覃 前 各 型 神经 网 络 设 计 9 析 四 了 RATLA 膨 6.5 EN 


xlabel( 输 入 
ylabel( 答 出 小 


径 向 基 丽 数 的 加 权 和 


1.4 一 





图 4-42 径 向 基 函 数 及 其 加 权 和 


下 面 使 用 函数 newrm 建立 个 径 向 基 咀 数 网 络 来 逼近 由 前 面 的 样本 点 指定 的 函数 。 设 
冒 平方 和 误差 参数 为 002， 展 开 常量 为 1。 
=002; 
sc= 1 
net=newrb(PT,egscy; 
实际 上 ， 在 使 用 函数 newrb 建立 网 络 时 ， 使 用 了 待 融 近 函数 的 样本 点 参数 ， 同 时 也 设 
置 了 目标 参数 ， 于 是 在 建立 网 络 时 ， 岂 经 完成 了 对 网 络 的 训练 下面 对 其 进行 仿真 。 














4.10.3 ”仿真 网 络 


为 仿真 网 络 ， 首 先 在 图 中 绘 出 竺 逼近 函数 的 初始 样本 点 。 然 后 使 用 sim 阴 数 来 产后 相 

应 的 网 络 输出 值 ， 并 将 其 也 绘 在 同一 幅 图 中 ， 如 图 4-43 所 示 。 

X=-1.01:1; 

Y=simnet.X); 

hold on; 

plotX.Y7 

plotPT' + 

title( 仿真 结果 ]); 

xlabel( 输 入 

ylabel(' 网 络 输出 及 月 标 输出 7; 

hokd o 圣 
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图 4-43 仿真 结果 及 原始 样本 分 布 


从 图 4-43 中 可 以 看 出 ， 网 络 的 仿真 结果 与 原始 待遇 近 的 函数 非常 接近 。 这 说 明了 使 
用 径 向 基 函 数 神经 网 络 的 效果 很 好 。 
例 程 4-11 是 本 问题 的 MATLAB 程序 代码 。 


例 程 41 





多 要 近 的 函数 和 样 市 点 

P= -1.1:1 

TesinfpirP); 

plotPT, + 六 

ttle( 待 遏 近 的 函数 样本 点 ) 
xlabel( 输入 值 ) 

ylabelf 目标 值 ]; 

名 径 向 基 传 递 函数 

P = -3:13; 

a = Iadbas(p); 

figure; 

plot(p,9) 

tue( 径 向 基 圭 递 函数 ? 
xlabel( 输 入》 

yiabel( 输 出 ?; 

名 径 向 基 传 递 函 煞 及 其 加 权 和 
a2 = radbas(p-1.5); 

3= Tadbas(p+2); 
a4=ay+a2xl+a3+0.5; 
figure; 
Plot(p,avb--P,a2vb--P,a3vb--piadom 


aemmmmmenn 。 13( 。 mm 
gt 
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tle( 径 向 基 丽 数 的 加 权 和 小 
xlabel( 输入 小 

yiabel( 输出) 

名 建 立 网 络 

ee = 0.02; % 设 置 平方 和 误差 参数 
; 名 设 置 展开 常量 
met=newrb(PTegsc 


名 仿真 网 络 并 绘 出 结果 





sc 





Y=simCnetX; 

hotd on 

piotkX,Y); 

plotPT'+》 

tite( 仿真 结果 小 
xlahel( 输 入 

ylabel(' 网 络 输出 及 目 林 输 出 7 
hold of 





4.10.4 


结论 


使 用 函数 newrb 建立 径 向 基 哨 数 神经 网 络 ， 能 够 在 给 定 的 误差 目标 范围 内 找到 能 解决 
问题 的 最 小 的 网 络 。 

但 是 ， 即 使 如 此 ， 我 们 并 不 是 就 只 需要 和 仑 向 基 神 经 网 络 ， 而 不 需要 其 他 的 前 向 型 网 络 ， 
如 BP 网 络 。 这 是 因为 径 向 基 函 数 网 络 很 可 能 需要 比 BP 网 络 多 得 多 的 隐 含 层 神经 元 来 完 
成 工作 。BP 网 络 使 用 函数 sigmoid， 这 样 的 神经 元 有 很 大 的 输入 空间 区 域 ， 而 径 向 基 函 数 
网 络 使 用 的 径 向 其 函数 输入 空间 区 域 较 小 。 这 就 导致 了 在 实际 需要 的 输入 空间 较 大 时 ， 需 
要 很 多 的 径 向 基 神 经 元 。 





aa 
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反馈 网 络 又 称 递归 网 络 ， 或 回归 网 络 。 在 反馈 网 络 中 〈Feedback NNs)， 输 入 信号 决 
定 反馈 系统 的 初始 状态 ， 然 后 系统 经 过 一 系列 状态 转移 后 ， 逐 渐 收 敛 于 平衡 状态 。 这 样 的 
平衡 状态 就 是 反馈 网 络 经 计算 后 的 输出 结果 ， 由 此 可 见 ， 稳 定性 是 反馈 网 络 中 最 重要 的 问 
题 之 一 ， 如 果 能 找到 网 络 的 Lyapunov 函数 ， 则 能 保证 网 络 从 任意 的 初始 状态 都 能 收敛 到 
局 部 最 小 点 。Hopfield 神经 网 络 是 反馈 网 络 中 最 简单 且 应 用 最 广 的 模型 ， 它 具有 联想 记忆 
〈 也 称 Content-addressible memory:CAM) 的 功能 。 如 果 可 把 Lyapunoy 函数 定义 为 陡 优 函 
数 的 话 ，Hopfield 网 络 还 可 用 来 解决 快速 寻 优 的 问题 。 

在 这 类 网 络 中 ， 多 个 神经 元 互 连 以 组 成 “个 五 连 神 经 网 络 ， 如 图 5-1 所 不。 表示 节点 
的 状态 ， 为 节点 的 输入 《初始 值 )， 为 收敛 后 的 输出 值 ， 有 些 神经 元 的 输出 被 反馈 至 同 层 
或 前 层 神经 元 。 因 此 ， 佑 号 能 够 从 止 向 和 反 向 流通 。Elman 网 络 和 Hopfield 神经 网 络 是 反 
馈 网 络 中 最 有 代表 性 的 例子 。 





























图 5-1 回归 网 络 


本 章 主要 内 容 : 

旬 。”Elman 神经 网 络 
Hopfield 神经 网 络 

CG 网 络 模型 

盒 中 脑 (BSB ) 模型 
双向 联想 记忆 (BAM ) 






L 


曙 ” 回 归 BP 网 络 
曙 。 Boltzmann 机 网 络 
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5.1 Elman 神经 网 络 


图 5-2 给 出 了 Elman 神经 网 络 的 结构 ， 这 种 网 络 具有 与 MLP 网 络 相似 的 多 层 结构 。 
在 这 种 网 络 中 ， 除 了 普通 的 隐 含 层 外 ， 还 有 一 个 特别 的 隆 含 层 ， 有 时 称 为 上 下 文 层 或 状态 
层 。 该 层 从 普通 隐 含 层 接收 反馈 信号 ， 上 下 文 层 内 的 神经 元 输出 被 前 向 至 隐 含 层 。 如 果 只 
有 正 向 连接 是 适用 的 ， 而 反馈 连接 被 预定 为 恒 值 ， 那 么 这 些 网 络 可 视 为 普通 的 前 馈 网 络 。 
而 且 ， 可 以 用 BP 算法 进行 训练 ， 否则， 可 采用 遗传 算法 。 





输入 单元 唤 尼 单元 。 输出 单元 


图 5-2 Elman 网 络 


5.2 ”Hopfield 神经 网 络 


Hopfield 神经 网 络 是 美国 物理 学 家 JJ.Hopfield 于 1982 年 首先 提出 的 。 它 主要 用 于 模 
拟 生物 神经 网 络 的 记忆 机 理 。Hopfield 神经 网 络 有 离散 型 和 连续 型 两 种 。 


5.2.1 Hopfield 神经 网 络 的 演变 过 程 


Hopfield 神经 网 络 的 演变 过 程 是 一 个 非 线性 动力 学 系统 ， 可 以 用 一 组 非 线性 差分 方程 
描述 〈 对 于 离散 型 的 Hopfield 神经 网 络 ) 或 微分 方程 《Hopfield 神经 网 络 ) 来 描述 。 系 统 
的 稳定 性 可 用 所 谓 的 “能 量 函 数 〈 即 李 由 普 诺 夫 或 哈密 顿 函数 )” 进行 分 析 。 在 满足 一 定 
条 件 的 情况 下 ， 某 种 “能 量 函 数 ” 的 能 量 在 网 络 运行 过 程 中 不 断 地 减少 ， 最 后 趋 于 稳定 的 
平衡 状态 。 


134 ” 吧 
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对 于 -个 非 线性 动力 学 系统 ， 系 统 的 状态 从 某 - - 初 值 出 发 经 过 演变 后 可 能 有 如 下 儿 种 
结果 : 
渐进 稳定 点 〈《 琢 引 了 ) 
极限 二 
混沌 《chaos) 
@@ ”状态 发 散 
因为 人 工 神经 网 络 的 变换 函数 是 一 个 有 界 函 数 ， 才 系 统 的 状态 不 会 产科 发 散 现 得 。 日 
前 ， 人 工 神经 网 络 经 常 利用 渐进 稳定 点 来 解决 某 些 问 题 。 例 如 ， 如 果 把 系统 的 稳定 辟 视 为 
一 个 记忆 的 话 ， 那 么 从 初 态 朝 这 个 稳定 点 的 演变 过 程 就 是 寻找 该 记忆 的 过 程 。 如 果 把 系统 
的 稳定 点 视 为 “个 能 量 函 数 的 极 小 点 ， 而 把 能 量 函 数 视 为 - 个 优化 问题 的 晶 标 旺 数 ， 那 么 
从 初 态 朝 这 个 稳定 点 的 演变 过 程 就 是 -个 求解 该 优化 问题 的 过 程 。 由 此 可 见 ，Hopfield 神 
经 网 络 的 演变 过 程 足 一 种 计算 联想 记忆 或 求解 优化 问题 的 过 程 。 实 际 上 ， 它 的 解 并 不 家 要 
真 地 去 计算 ， 而 只 要 构成 这 种 反馈 神经 网 络 ， 适 当地 设计 其 连接 权 和 输入 就 可 以 达 公 这 个 
日 的 、 


5.2.2 ”离散 型 Hopfield 神经 网 络 (DHNN ) 





1， 人 网络 的 结构 及 工作 方式 
DHNN 是 -种 单 层 的 、 其 输入 输出 为 二 值 的 反馈 网 络 ， 它 主要 用 丁 联想 记 已 。DHNN 
的 结构 如 网 5-3 所 示 。 
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隐 5-3 DHNN 结构 
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图 5-3 中 定义 夸 = [xx 为 网 络 的 状态 矢量 ， 其 分 量 是 于 个 神经 元 的 输出 ， 
仅 取 +1 或 一 1 二 值 。 昌 = [6,,9 ;8。j 为 网 络 的 阔 值 矢量 。 枫 = [wy ],w 为 网 络 的 连接 
权 抢 阵 ， 其 元 素 wy 表示 第 了 个 神经 元 到 ;个 神经 元 的 连接 权 ， 它 为 对 称 矩 阵 ， 奸 
思 = Wi 若 Wi=0， 则 称 其 网 络 为 无 自 反 馈 的 ， 否 则 ， 称 其 为 有 自 反馈 的 。 

DHNN 网 络 的 计算 公式 如 下 ; 


uC+D= 六 woD-e (5.D 
1 
和 人 +D=sSn[ett+D] 《S.2) 
式 中 sgn(2z) 为 符号 琐 数 : 
加 1xZ0 
ee 


DHNN 主要 有 以 下 两 种 工作 方式 : 
1) 串 行 工作 方式 
在 某 一 时 刻 只 有 -个 神经 元 按照 式 5.1)》 和 式 〈5.2) 改变 状态 ， 而 其 余 神经 元 的 输 
出 保持 不 变 。 这 一 变化 的 冲 经 元 可 以 按照 随机 方式 或 预定 的 顺序 来 选择 。 例 如 ， 考 达到 的 
神经 元 为 第 ! 个 ， 则 有 : 
(+D=sgnLtt+D] 
G+ 了 = 加 (DC 六 站 
2) 并 行 工作 方式 
在 其 一 时 刻 有 N(L< N 私 四 个 神经 元 按照 式 (5.1) 和 式 〈$.2) 改变 状态 ， 而 其 余 神 
经 元 的 输出 保持 不 变 。 变 化 的 这 一 组 神经 元 可 以 按照 随机 方式 或 某 种 规则 来 选择 。 当 
AN = 于 时 ， 称 为 全 并 行 方式 ， 记 载 某 一 时 刻 所 有 的 神经 元 都 按 式 5.1) 和 式 〈5.2) 改变 
状态 ， 亦 即 ; 
人 t+D=Ssgn[ LT+DL] “= 二 2 天) 
车 神 经 网 络 从 某 一 状态 球 (0) 开始 ， 经 过 有 限时 间 + 后 ， 它 的 状态 不 再 发 生变 化 ， 这 
就 是 DHNN 的 稳定 状态 〈 吸 引子 )。 用 数学 公式 表示 为 


2GHD=i(O=sgn( 全 风 站 -6 GE=12 朵 
问 


2，DHNN 网 络 模型 
离散 的 Hopfield 神经 网 络 模型 描述 如 下 。 对 于 网 络 的 每 个 节点 : 


大 做 十 切 一 sgn( 有 后 (一 8) ， 二 12 (5.3)》 
1 


ear 1 了 6。 mm 
er 





FE 
一 笔 2 瑟 所 3HH 经 风 络 再 ER 人 有 NAATLA 膨 6.5 mm 


二 | 上 2 关 0 


其 中 - 
SO) 已 <0 


式 〈5.3》 的 基本 形式 和 感知 器 的 输入 /输出 关系 相同 ， 这 里 不 加 讨论 。 
3， 网络 的 稳定 性 分 析 
如 前 所 述 ，Hopfield 神经 网 络 的 稳定 忻 可 以 用 网 络 的 能 量 函 数 进行 分 析 。DHNN 的 能 


量 阔 数 定义 为 : 


Te 


五 = 瑟 之 十 文 er 
ii 


[| 
写成 矩阵 形式 为 
五 三 -六 TVWX +X78 


由 于 效 ,z 只 能 为 土 1， 有 办 ， 能 量 函数 是 有 界 的 ， 即 ; 


旧 


加 =- 这 衬 olsllell 


= 六 1 1 


-这 补 w 袜 | 


=1 JrL 


若 从 某 -初始 状态 开始 ， 每 次 选 代 都 能 满足 AE = 天 (+ 了 一 耕 (D] 过 0， 即 网 络 的 能 


量 单调 下 降 ， 则 网 络 的 状态 最 后 将 趋 于 一 个 稳定 点 《有 关 DHNN 的 稳定 性 证 十 ， 请 读者 
参考 其 他 一 些 关于 神经 网 络 的 书籍 ) 


5.2.3 连续 型 Hopfield 神经 网 络 


连续 蜡 Hopfield 神经 网 络 《CHNN)》 尾 了 JHopfield 于 1984 年 在 DHNN 的 基础 上 提出 


来 的 ， 它 的 原理 与 DHNN 相似 。 由 于 CHNN 屁 以 模拟 量 作为 网 络 的 输 入 输出 量 ， 各 神经 
元 采用 并 行 方式 工作 ， 所 以 它 在 信息 处 理 的 并 行 性 、 联 起 性 、 实 时 人性， 分布 存储 、 协 同性 
等 方面 比 DHNN 更 接近 于 生物 神经 网 络 。 


1.，CHNN 网 络 模型 
Hopfieid 神经 网 络 模型 可 用 下 列 非 线性 微分 方程 描述 : 


了 7 了。 meemomrrreeeae 
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卫 入 忆 
Ci = 一 全 十 过 
dt 妇 二 (5.4) 
2) 














上 述 模型 还 可 用 一 电路 米 表 示 〔 如 图 $-4 所 示 )。 其 中 电阻 届 和 电容 C; 并 连 ， 模 拟 生 
物 神经 元 输出 的 时 间 常数 ， 跨 导 往 模拟 神经 元 之 间 互 连 的 突 触 特性 ， 运 算 放 大 器 用 来 模拟 


神经 元 的 非 线 性 特 竹 。 
定义 Hopfield 神经 网 络 的 能 量 函 数 为 : 


E- 立 站 PCOD)dy- 2 六 了 衬 六 ty (5.5) 


2 反 气 








其 中 8i() 是 Sigmoid 不 难 证 明 式 〈5.5) 的 能 量 闻 数 在 简单 的 假设 下 是 一 个 
Lyapunoy 北 数 ， 困 此 有 如 下 的 定 
【定理 5. 1】 对 于 系统 式 (5.4)， 若 C; > 0， 与 = 妨 ， 则 网 络 的 解 轨道 在 状态 空间 


中 总 是 朝 着 能 量 减 小 的 方向 运动 ， 且 网 络 的 稳定 平衡 点 就 是 五 的 极 小 点 。 








图 5-4 Hopfield 电路 
当 Hoptfield 神经 网 络 用 于 联想 记忆 时 ， 存储 的 信息 就 分 布 在 网 络 的 权 系 上 。Hopfield 
提出 了 网 络 在 式 (5.4)》 的 卖 =0 时 ， 权 系 由 记忆 状态 双关 = 1 2，…, 奖 构成 ， 即 : 


=>8P 或 了 = 之 县 下 
天 = 大 = 


对 应 于 式 〈5.4) 的 连续 时 间 的 Hopfield 神经 网 络 模型 。 
2，CHNN 结构 | 
图 5.5 所 示 是 CHNN 的 结构 图， 图 中 每 个 神经 元 可 由 同 向 端 或 反 向 端 输出 《图 55 示 
而 出 反 向 端 )。 当 由 反 向 端 输出 时 ， 它 对 其 他 神经 元 将 起 抑制 作用 。 对 于 每 -个 神经 元 而 
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言 ， 利 己 的 输出 信和 号 经 过 其 他 神经 元 又 反馈 到 白 局 ， 所 以 CHNN 是 一 个 连续 型 的 非 线性 
动力 学 系统 。 





























儿 5-5 CHNN 结构 


3， CHNN 网 络 稳定 性 分 析 
与 DHNN 一 样 ， 网 络 的 稳定 性 分 析 是 基于 网 络 的 能 量 函数 。 如 前 所 述 ， 网 络 的 状态 
和 输出 方程 式 为 ， 


dx 天 志 
CC -一 = 一 一 十 天 十 六 区》 
外 
切 =SiCE 


其 能 量 冰 数 为 : 


巨 = -六 六 wm -六 w1 + 立 二 [oady 
2 所 玉 0 


il =1 
式 中 g(] 是 函数 w = 9 (ai) 的 反胃 数 。 上 式 第 三 项 硼 示 输入 状态 和 输出 值 关系 的 
才 量 项 〈 有 关 CHNN 的 稳定 性 证 明 ， 请 读者 参考 其 他 一 些 有 关 神 经 网 络 的 书籍 )， 


0。 
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5.3 CG 网 络 模型 
CG 网 络 模型 可 用 下 述 一 组 非 线性 微分 方程 式 描述 : 


di 杰 
坚 -aellsoo- 交 de 2 (5.6) 
1 








其 中 由 cy 构成 的 连接 矩阵 C 是 对 称 矩阵 ， 即 cy = cr ， 人 .) 为 正 调 函 数 ， 即 
Gi() 关 0。 志 i() 为 单调 函数 ， 即 dx ) 0。 
在 〈5.6) 式 描述 的 CG 网 络 模型 中 ，z 代表 第 i 个 神经 元 的 内 部 状态 ， dj (x) ) 是 第 





了 个 神经 元 的 输出 ，cw 是 神经 元 ;和 了 间 耦 合 程度 的 权 值 ， 和 项 字 < di(ci) 代表 神经 元 
1 


本 


i 的 输入 。 
关于 CG 网 络 模型 的 稳定 性 ， 我 们 有 以 下 的 结果 。 


【定理 5.2】 对 于 系统 (5.6) 式 ， 若 di (z) > 0 ， di (zj ) 为 单调 递增 ，cy = cj ， 





则 该 网 络 是 稳定 的 。 


5.4 盒 中 脑 (BSB) 模型 


BSB (Brain-State-in-a-box) 模 型 由 下 列 离散 方程 式 描述 ， 





和 HTD=SO(D)+ay 有 (站 =12， (5.7) 
1 


其 中 机 = 与 。 非 线性 函数 SC) 定义 如 下 


一 下 ,和 安 一 已 
SCOD=1z- 忆 < <F 
交 ,和 > 
当 系统 随时 间 发 生变 化 时 ， 每 个 状态 x 逐渐 趋 近 于 土 严 。 事 实 上 ， 但 系统 达到 一 平 
衡 状 态 时 ， (2 za xs) 进入 由 ( 士 严 士 玉 … 汪 互 ) 构成 的 箱子 某 一 角 。 
对 应 〈5.7)》 式 的 连续 时 间 模 型 为 : 
上 -SCwz) (5.8) 
df 名 


riemaeaem 40。 um 
ia 





MSGESWNNEI 


ys5s Exaih&R4RiRIJ Re NAATLA 有 6.5EO00GG 


1 了 


如 


其 中 ，Wy = Gy +ai，Gb 为 Kronecker 通 数 ， 即 Ge = 1 ， 
“ 0 天 洒 


Xi， 将 之 代入 《5.8) 式 ， 可 得 : 


人 


若 定 义 几 = 
1 
dd ， 
定 -+ 六 SO)) 
dt 气 


由 此 可 见 ，BSB 模型 可 看 成 是 模型 5.6) 式 的 - -个 特例 ， 惟 -个 同 之 处 赴 $(.) 不 是 
处 处 可 微 的 函数 。 


5.5 双向 联想 记忆 (BAMD) 


BAM (Bidirectional Associative Memory) 网 络 有 连续 时 间 利 高 巩 时 间 的 两 种 模型 ， 连 
续 时 间 的 BAM 可 内 十 述 微分 方程 式 描述 ， 


大 二 -QI 三 + 六 有 0 + 计 1.2 
气 
轨 = 一) 芒 二 >》 和 0) 万 了 =12，. 了 1 (5.9) 
所 


其 中 国 ，c ， 厂 ， 了 为 正 的 常数 ， 了 为 Sigmoid 函数 ， 了 一 区 人。 为 实数 伟 狂 。 定 


了 


义 (5.9) 式 的 网 络 能 量 疮 数 为 : 


ED=- 呈 定 boJJODT 袜 aa 全 Joand 
1 71 il 


+ 人 人 pydvi -六 oo -六 Jon 
六 沁 5 


不 建 证 明 。 杞 X 站 =- 史 JGaoo -之 CO so 
FE 1 





由 于 瑟 有 界 ， 因 此 对 十 任意 初始 状态 (X(O),Y(D)) ， 网 络 将 趋 于 “稳定 状态 








(Xeoj,7(eo) 且 仅 当 关 = 太一 0CYiY 及 时 ，E(X, 了 ) 到 达 最 小 点 。 
离散 的 BAM 类 似 王 Hopfield 神经 网 络 ， 有 下 列传 递 杖 数 方程 式 来 定义 : 





人 41。 wm 
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1 20>8 

本] 
+D= (Di 人 = 

3] 

1otpers 
1 202 人 > 全 

1 


夯 开 +D 王 1 有 ( 扩 = 证 
1 


1otpers 








对 应 上 式 的 非 齐 次 BAM 神经 网 络 ， 其 能 量 函数 可 由 下 式 定义 : 
歼 (X, 了 ) = 一 X7T7+X76+7T 
可 以 证 明 ， 当 状态 发 生变 化 时 ， 五 将 减 小 ， 最 终 达到 最 小 点 ， 而 网 络 进入 某 一 稳定 状 
态 。 因 此 可 用 -个 输入 对 ( 飞 , 了 ) 同 忆 - -个 相关 的 双 极 性 向 量 对 (X, 玖 ) 。 这 里 的 双 极 性 
是 指 Xefb,ye 人 1。 


5$.6 回归 BP 网 络 


由 于 误差 方向 传播 C(BP) 算法 在 前 向 网 络 学 习 中 涨 受 欢迎 ,许多 网 络 研究 工作 者 将 BP 
算法 中 使 用 的 祥 度 下降 法 (Gradient decent method) 应 用 到 回归 网 络 中 ， 内 此 产生 了 回归 
BP 算法 〈Recurrent back-propagation )。 

可 妇 BP 网 络 可 由 下 述 非 线性 动态 方程 描述 : 


























dz 
TS- 一 z， 上 +S(C uc) 
人 7 


其 中 ，z 代表 神经 元 ?的 内 部 状态 ，3(.) 为 Sigmoid 函数 ， 天 的 定义 如 下 : 
2XEE 凡 
到 = 
上 
这 里 4 为 输入 节点 的 集合 ，: 为 外 加 答 入 。 若 用 纪 代表 输出 节点 的 集合 ， 则 隐 节 点 


是 既 不 属于 4 ， 也 不 属于 外 的 节点 ， 但 一 个 节点 可 以 同时 是 一 输入 节点 〈 即 五 = 为) ， 
也 可 是 一 输出 节点 《 即 带 有 教师 信号 )。 


weremrmeeaaaemm | 个 了 = 
ee 





ze 
一 一 一 一 -一 于 5 主 _ENRB 入 SR4 理 ERW AAATLA 司 6.5 mm 
网 络 的 权 和 矩阵 ”= 区 启 通 过 使 下 询 误 养 平方 和 最 小 来 求 得 ， 


1 、 
五 = 二 让 
3 之 肥 
值得 注意 的 是 ， 网 络 的 权 矩 阵 可 通过 -辅助 网 络 来 修正 ， 即 : 
Ar =as(> mw 记 )P， zs 


商人 


这 里 v， 是 下 列 辅 助 网 络 的 稳定 豚 引 子 : 


公 -- + 8 人 十 五 
因此 在 权 值 的 修 止 中 ， 4 求解 和 隆 的 间 。 





5$.7 Boltzmann 机 网 络 


GE.Hinton 和 TJ.Sejnowski 借助 统计 物理 学 的 方法 ， 对 共有 对 称 权 此 阵 的 随机 网 络 引 
进 了 一 般 的 学 习 方 法 。 由 于 这 种 随机 网 络 的 状态 服从 于 统计 学 的 Boltzmann 分 布 ， 故 被 称 
为 Beltzmann 机 。 网 络 四 可见 单元 和 隐 单 元 构成 ， 每 个 单元 只 取 两 种 状态 : 一 1 和 1。 妆 
神经 元 的 输入 加 权 和 发 生变 化 时 ， 神 经 元 的 状态 随 之 更 新 ， 各 单元 之 问 的 状态 更 新 是 异步 
的 ， 可 用 概率 来 描述 。 神 经 元 ;的 笨 出 值 取 1 的 概率 为 : 

Ps -= 1 (5.10) 
LI+exp(_2s) 
元 

其 中 : 

8 六 ， 

相 肥 ， 神 经 元 i 的 输出 值 取 一 1 的 概率 为， 

Ps =-D=1-p( =+D= 


2 
1 十 去 
ep( Si) 


这 里 下 是 网 络 的 绝对 温度 。 出 式 〈5.10) 可 知 ， 当 输入 加 权 和 增 大 时 ， 状 态 为 1 的 概 
率 将 提高 ， 当 温度 T 很 高 时 ， 状 态 取 一 1 和 1 的 机 会 接近 ， 状 态 容易 发 生变 化 。 
网 络 的 学 习 就 是 通过 给 定 的 -组 范例 ， 求 出 各 单元 之 癌 连 接 的 权 值 wy 。Boltzmann 


机 学 习 的 想法 是 基于 统计 方法 。 假 设 当 网 络 的 可 见 单元 取 状态 4 ， 伯 单 元 取 状 态 及 时 ， 补 
经 元 i 的 实际 输出 为 8 ， 网 络 的 能 量 术 数 可 出 下 式 定义 ; 


-mso050 -= 0 


四 


4 





这 时 可 网 单元 状态 为 & ， 隐 单元 取 状 态 厅 的 概率 严 (v。 玉 5 ) 由 Boltzmann-Gibbs 分 布 
决定 ， 即 : 


1 1 
忆 (v, 媚 9) = 二 exp( 二 已 
(五 5) 过 exP 地 op) 
其 中 : 
1 
之 人 exp 人 有 o) 
设 Beltzmann 机 由 叫 , 个 可 见 单 元 和 冲 个 隐 单 元 构成 ， 则 网 络 共 有 28 X 2 一 20 
个 状态 。 当 温度 很 高 时 ，z 接近 于 网 络 的 状态 总 数 。 实 际 上 网 络 的 可 见 单元 状态 处 于 @ 时 
的 概率 为 : 
1 
Po)= 冯 PRp) = 了 LexpC 工 En) 
感 站 尼 4 了 


让 P(y,) 表 示 网 络 可 见 单元 处 于 4 时 的 希望 概率 。Boltzmann 机 的 学 习 就 是 调整 网 络 
的 权 值 ， 使 P(y ) 尽 可 能 地 逼近 P(y。) 。 

网 络 的 温度 了 对 Boltzmann 机 的 学 习 很 重要 。 如 果 温 度 太 低 ， 那 么 网 络 只 能 达到 少数 
的 状态 ， 因 此 容易 陷入 局 部 最 小 点 。 相 反 ， 如 果 温 度 太 高 ， 陷 入 局 部 极 小 值 的 可 能 性 虽 会 
变 小 ， 但 停止 在 最 小 值 的 机 会 也 随 之 减少 。 为 此 ， 可 以 从 高 温 开始 ， 然 后 徐徐 退火 降低 温 
度 ， 使 网 络 以 相当 高 的 概率 收敛 到 最 小 能 量 的 状态 。 这 就 是 模拟 退火 法 在 Boltzmann 机 中 
应 用 的 过 程 。 

RPLippmann 曾 利用 Boltzmann 机 来 进行 语言 处 理 和 辨识 ，Kohonen 等 人 评价 了 
Boltzmann 机 在 模式 识别 中 的 性 能 ， 他 们 发 现 Bottzmann 机 的 效果 要 比 BP 前 向 网 络 好 。 
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第 6 章 ”反馈 型 神经 网 络 设计 分 析 


前 面 介绍 了 前 向 型 神经 网 络 的 设计 ， 林 章 将 介绍 反馈 圳 经 网 络 设计 。 从 计算 的 角度 米 
看 ， 前 向 型 神经 网 络 的 大 部 分 是 学 习 网 络 而 不 共有 动力 学 行为 。 反 馈 神经 网 络 则 是 通过 神 
经 元 状态 的 变迁 而 最 终 稳定 于 某 一 状态 ， 从 而 得 到 联想 存储 或 者 神经 计算 的 结果 。 从 系统 
的 观点 看 ， 反 馈 神 经 网 络 是 一 个 非 线性 动力 学 系统 。 

本 章 主 要 内 容 包 括 ; 

晶振 幅 检测 

生 ”两 神经 元 的 Hopfield 神经 网 络 设计 

鲁 ”三 神经 元 的 Hopfield 神经 网 络 设计 





61 引 言 


前 面 介 绍 了 前 向 型 神经 网 络 的 设计 ， 本 章 将 介绍 反馈 神经 网 络 设 计 。 从 计算 的 角度 来 
看 ， 前 向 型 神经 网 络 的 大 部 分 是 学 习 网 络 而 不 具有 动力 学 行为 。 反 馈 神经 网 络 则 是 通过 神 
经 元 状态 的 变迁 贞 最 终 稳定 于 某 “` 状 态 ， 从 而 得 到 联想 存储 或 者 神经 计算 的 结果 。 从 系统 
的 观点 看 ， 反 馈 神 经 网 络 是 一 个 非 线性 动力 学 系统 。 

MATLAB 神经 网 络 工具 箱 中 主要 给 出 了 两 种 类 型 的 反馈 神经 网 络 模型 : ElIman 神经 
网 络 和 Hopfield 神经 网 络 。 

Eiman 神经 网 络 能 在 有 限 的 时 间 内 以 任意 精度 吉 近 任意 函数 。 另 外 ，Elman 神经 网 络 
能 够 存储 信息 以 备 未 来 使 用 ， 所 以 它 木 仅 能 够 学 习 空域 模式 ， 也 能 够 学 习 时 域 模式 。 在 本 
章 的 第 2 节 ， 我 们 就 要 利用 它 的 这 -特点 ， 设 计 一 个 Elman 神经 网 络 ， 用 于 对 输入 波形 进 
行 振幅 检测 。 

Hopfield 神经 网 络 是 . 种 非常 经 典 的 反馈 型 神经 网 络 。 常 用 于 存储 个 或 者 多 个 稳定 
的 目标 向 量 ， 当 向 网 络 提供 近似 的 向 量 时 ， 这 些 向 量 就 像 是 被 存储 在 网 络 中 的 一 样 ， 会 被 
隐 起 。Hopfield 神经 网 络 设计 的 日 标 就 十 使 得 网 络 存储 些 特 定 的 平衡 点 ， 给 定 网 络 -个 
初始 条 件 ， 网 络 经 过 调整 后 会 在 这 样 的 点 上 停 下 来 。 由 于 输出 又 被 反馈 到 输入 ， 所 以 一 口 
网 络 开始 运行 ， 整 个 网 络 就 是 递 上 的 。 在 本 章 的 第 3 节 和 第 4 节 将 分 别 设计 “个 两 神经 元 
和 -- 个 三 神经 元 的 Hopfield 神经 网 络 。 


62 振幅 检测 


Elman 神经 网 络 通常 出 两 层 网 络 结构 ， 它 存在 从 第 一 层 的 输出 到 第 一 层 输入 的 反馈 ， 
这 种 反馈 连接 的 结构 使 得 其 被 训练 后 不 仅 能 够 识别 和 产生 空域 模式 ， 还 能 够 识别 和 产生 时 
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域 模式 。 其 网 络 的 两 层 结构 如 图 6-1 所 示 。 

Bliman 神经 网 络 的 这 种 组 合 结构 特点 使 得 其 能 在 有 限 的 时 间 内 以 任意 精度 遥 近 任意 函 
数 。 这 一 点 只 需要 通过 给 递归 层 设 置 足 够 多 的 神经 元 来 实现 。 当 需要 逼近 的 函数 复杂 性 增 
加 时 ， 和 需要 的 递归 层 神经 元 数目 也 要 增加 。 





员 1 1 1 SIX1 3 
\_/ 
Input Recurrent tansig iayer Output purelin layer 


Bt) :tanS 论 人 WP +EWV5E5a0k-1) 二 和) ia(A) -purelin(LW25a3(R) bo 


图 6-1 Elman 神经 网 络 结构 


正 是 由 于 Blbman 神经 网 络 能 够 存储 信息 以 备 未 来 使 用 ， 所 以 它 不 仅 能 够 学 习 空域 模 
式 ， 也 能 学 习 时 咸 模式 。 在 这 里 ， 我 们 就 要 利用 其 这 特点 ， 进 行 振幅 检测 。 所 谓 振幅 检 
测 ， 就 是 对 时 城 模式 进行 识别 ， 然 后 按 空 域 模式 对 其 进行 分 类 。 

振幅 检测 需要 在 一 段 时 间 里 对 网 络 提供 一 个 波形 ， 这 样 网 络 就 会 输出 这 个 波形 的 振 
枉 。 唱 然 这 并 不 是 一 个 很 难 的 问题 ， 但 是 能 够 反映 出 Elman 神经 网 络 的 设计 过 程 。 下 面 我 
们 就 来 设计 这 样 一 个 网 络 。 


6.2.1 问题 描述 

















首先 定义 两 个 正弦 波形 函数 ， 一 个 振幅 为 1， 另 一 个 振幅 为 2。 
pl=sin(1:20): 
p2=sin(1:201*2; 
上 上述 波 形 的 目标 输出 为 它们 的 振幅 。 
如 =ones(1.20); 
人 2=ones(1.20)*2; 
将 上 述 波形 组 合成 一 个 序列 ， 使 得 每 个 波形 出 现 两 次 。 我 们 使 用 这 个 组 合 后 的 延长 了 
的 波形 信 生 来 训练 Elman 神经 网 络 。 
P=Ipl p2 pp2 
tttL 


我 们 希望 答 入 和 输出 信号 都 是 序列 ， 故 使 用 转换 函数 con2seq 来 把 它们 从 矩阵 信号 转 


err | 人 40。 mm 
oggqgprretlittlpra 





一 
~ YE Easy&RURi2H 0 NATLA 本 6.5 em 


换 成 序列 信号 。 图 6-2 中 绘 出 了 输入 信号 和 月 标 信号 的 曲线 。 
Pseq=con2seq(p); 
Tseq=con2seq(t); 

输入 信号 必 日 标 信号 


1， 
1 1 


输入 及 月 标 





0 和 00 0 上 70 
时 间 


图 6-2 输入 信号 及 日 标 信号 曲线 


6.2.2 网络 初始 化 


本 问题 需要 使 用 Elman 神经 网 络 检测 一 个 单 输入 值 〈 即 输入 波形 信号 )， 并 且 在 每 - 
个 时 间 步 长 上 输出 一 个 单 值 信号 〈 即 振幅 值 )。 因 此 ， 网 络 必 须 有 一 个 输入 元 件 和 一 个 输 
出 神经 元 。 
R=1: 名 一 个 得 入 元 件 
S2-=1;， 色 第 : 层 一 个 输出 神经 元 
从 原理 上 说 ， 递 归 网 络 层 可 以 包含 代 意 数目 的 神经 元 。 不 过 ， 随 着 问题 复杂 程度 的 增 
加 ， 和 需要 更 多 的 神经 元 数 月 才能 很 好 地 工作 。 
我 们 在 这 里 要 讨论 的 问题 比较 简单 ， 所 以 在 第 一 层 中 只 要 设计 10 个 递归 神经 元 就 足 
够 解决 门 题 了 。 
S1=10:% 在 第 - 尼 中 包含 10 个 递归 神经 元 单元 
现在 可 以 使 用 newelm 函数 来 建立 网 络 ， 初始 化 权重 矩阵 和 阅 值 向 量 。 产 生 的 网 络 训 
以 有 -个 其 值 在 一 2 一 2 之 问 变化 的 输入 。 在 本 问题 中 ， 我 们 使 用 traingdx 级 数 作为 学 习 束 
率 ， 它 能 根据 梯度 下 降 的 情况 ， 以 及 自 适 应 学 习 的 速率 来 调整 权重 和 阔 值 。 


netenewelm([L-2 2].[S1 S2],fiansigvpurelin ],traingdx) 





6.2.3 “网络 训练 


现在 开始 训练 网 络 ， 首 先 设置 训练 时 间 为 500 个 时 间 单 位 〈epoch)， 然 后 就 可 以 使 用 
train 函数 来 进行 网 络 的 训练 。 
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nettrainParam.epochs=500; 





[netir]j=train(net,Pseq,Tseq); 
在 利用 train 函数 对 网 络 进行 训练 执行 以 上 代 公 后 ， 在 MATLAB 命令 行 中 将 实时 地 显 
示 出 网 络 的 训练 状态 。 如 下 所 示 ; 
TRAINGDX,Epoch 01500, MSE 9.9880710, Gradient 19.1745)1e-006 
TRAINGDX,Epoch 25/500, MSE 0.250986/0, Gradient 0.290913/1e-006 
TRAINGDXEpoch 50/500, MSE 0.246709/0, Gradient 0.072502971e-006 
TRAINGDX,Epoch 75/500, MSE 0.241614/0, Gradient 0.0666679/1e-006 
TRAINGDX.Spocb 1001500, MSE 0.221712/0, Gradient 0.062745311e-006 
TRAINGDX.Epoch 125/500, MSE 0.0865298/0, Gradicnt 0. 127753/1e-006 
TRAINGDX,Epoch 150/500, MSE 0.0721242/0, Gradient 0.252093/1e-006 
TRAINGDX,Epoch 175/500. MSE 0.068302/0, Gradient 0.067186/1e-006 
TRAINGDX.Epoch 2001500, MSE 0.065277110, Gradient QU.041501211e-006 
TRAINGDX.Epoch 225/500, MSE 0.05299410, Gradient 0.03979591ie-006 
TRAINGDX,Epoch 250/500, MSE 0.034749/0, Gradient 0.27233571e-006 
TRAINGDX,Epoch 2751500, MSE 0.0326495/0, Gradient 0.12338471e-006 
TRAINGDX ,Epoch 3001500, MSE 0.0306567/0, Gradient 0.039782911e-006 
TRAINGDX,.Epoch 325/500, MSE 0.0265246/0, Gradient 0.0250898/1e-006 
TRAINGDXEpoch 350/500, MSE 0.0194044/0, Gradient 0.0873426/1e-006 
TRAINGDX,Epoch 375/500, MSE 00190188/0, Gradient 0.047967171e-006 
TRAINGDX.Epoch 400/500, MSE 0.018759610. Gradient 0.020111771e-006 
TRAINGDX.Epoch 425/500, MSE 0.0180997/0, Gradient 0.0176995/ie-006 
TRAINGDX,Epoch 450/500, MSE 0.016541170, Gradient 0.015430771e-006 
TRAINGDXEpoch 475/500,MSE 0.0166451/0, Gradient 0.27754/le-006 
TRAINGDX,Epoch 500/500, MSE 0.015530210, Gradient 0.0724595 作 e-006 


图 6-3 显示 了 训练 过 程 中 的 误差 变化 情况 。 


Performanceis 0.0174345, Goalis0 
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图 6-3 ”训练 过 程 中 的 误 闫 变化 
从 误差 曲线 及 MATLAB 命令 行 实现 的 结果 来 看 ， 在 第 500 个 时 间 单位 的 时 候 ， 平 均 
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平方 误差 为 0.015 530 2。 
6.2.4 网 络 测试 


下 面 测试 网 络 。 


我 们 用 原始 输入 Pseq 作为 输入 米 测 试 网 络 。 使 用 通 数 simuelm 来 仿真 网 络 。 


a=simCnetPseq); 


上 面 得 到 结果 为 网 络 输出 的 Pseq 信号 的 振幅 ， 在 同一 幅 图 上 绘 出 网 络 测试 得 到 的 结 


果 a， 以 帮 目 标 信号 站 eq 的 曲线 ， 如 图 6-4 所 示 。 


输出 信号 及 目标 信号 


22 





标 
机 


输出 及 目 





0 40 
时 间 


图 6-4 测试 给 出 信 妆 及 目标 信号 曲线 
从 网 6-4 的 曲线 可 以 看 出 ， 输 出 信和 号 在 日 标 信号 的 两 侧 有 人 小 


入 信号 的 振幅 变化 而 变化 ， 网 络 能 较 好 地 检测 出 输入 信号 的 振幅 。 


是 比较 成 功 的 。 当 我 们 增加 递归 层 的 神经 元 单元 的 数目 或 者 是 延 


面 度 的 振荡 ， 但 能 跟着 输 
这 说 明 我 们 设计 的 网 络 
长 训练 时 间 计 ， 都 能 得 到 








更 好 的 性 能 。 
例 程 6-1 是 本 问题 的 MATLAB 程序 代码 。 
例 程 6-1 
饥 定 义 输入 信号 及 目标 信号 
Time=1:80; 


pl=sin(1:20); 

P2=sin(1:20)*2; 

tl=ones(1.20); 

t2=ones(1.20)*2; 

p=[pl p2plp21; 

t=ttL2t 2]; 

Pseq=con2seq(p); 
Tseq=con2seq(0; 

允 绘 出 输入 信号 及 目标 信号 曲线 


figure; 
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Piat(Time,cat(2.Pseq{:])，-- ,Time.cat(2.Tseq{: 1 
xlabeiC' 时 间 洛 

ylabel( 输 入 及 目标 ); 

title( 输 入 信号 及 目标 信号 ?); 

免 开始 生成 网 络 

R=l; % - -个 输入 元 件 

S2=1; 名 第 二 层 一 个 输出 神经 元 

ST=10;% 在 第 一 亡 中 包含 10 个 递归 神经 元 单元 
met=newelmt[-2 2],[S1 S2],{tansig',purelin' ]*traingdx); 
多 训练 网 络 

nettrajinParamepochs = 500; % 设 置 训练 时 间 为 500 个 时 间 单位 
[aebtrj=trainfnebPseq,Tseq); 

饮 开 始 测试 网 络 性 能 

a= sim(nebPseq): 

9% 绘 出 输出 信和 号 及 目标 信号 曲线 

figure; 

Plot(Timecat(2,af:]),Time,cat(2,Tseq[:})-- 
xlabel(' 时 间 ?; 

ylabel( 输 出 及 目标 ?; 

te 输出 信号 及 目标 信号? 





6.2.5 ”网 络 的 推广 应 用 及 完善 


对 于 前 面 我 们 设计 的 网 络 ， 昌 然 能 够 检测 到 被 其 训练 过 的 波形 信号 的 振幅 ， 但 是 对 于 
那些 振幅 没有 被 训练 过 的 正弦 信号 ， 它 不 -- 定 能 够 准确 地 检测 出 来 。 
下 面 我 们 就 来 进行 这 项 测试 工作 。 首 先 定义 一 个 新 的 信号 ， 它 由 两 个 振幅 分 别 为 1.6 
和 1.2 的 正弦 信号 分 别 重复 两 次 构成 。 
p3=sin(1:20)*1.6; 
急 =ones(1,20)*1.6: 
p4=sin(1:20)#1.2; 
节 =ones(1.20)*1.2; 
pg=[p3 p4p3 p4]; 
嫩 =[ 全 地 电 寺 ] 


pgseq=con2seQ(PS) 
在 这 里 用 输入 信号 序列 pg 和 目标 信号 序列 馈 来 测试 我 们 刚才 设计 的 网 络 推广 到 新 的 
振幅 信号 的 能 力 。 


后 次 调用 函数 sim 来 仿真 Biman 神经 网 络 ， 结 果 如 图 6-5 所 示 。 

a2=sim(net,pgseq); 

这 - -次 网 络 得 到 的 输出 结果 不 太 令 人 满意 。 从 曲线 上 可 以 看 出 ， 网 络 的 输出 结果 好 像 
能 跟踪 输入 信号 的 振幅 ， 在 其 两 侧 振 荡 ， 但 是 振 功 的 幅度 太 大 ， 使 得 其 结果 已 经 变 得 很 不 
精确 。 


ereeeeme 上 S0) 。 mm 
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输出 信号 及 日 杯 信 和 号 
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已 
时 刘 
图 6-5 ”新 的 振幅 信号 检测 结果 及 


为 了 改善 这 种 状况 ， 增 加 网 络 的 推广 能 力 ， 可 以 利用 


7 





目标 





更 多 的 振幅 信号 来 训练 网 络 ， 而 











不 是 像 本 网 络 的 设计 具 用 了 1.0 和 2.0 两 种 振幅 信号 。 使 用 3 一 4 种 不 同 振幅 、 不 同 波形 的 
信号 米 进行 训练 , 将 会 有 更 好 的 效果 。 有 有 兴趣 的 读者 可 以 自己 试 着 改变 本 网 络 的 许多 参数 ， 


继续 完善 这 个 网 络 ， 使 得 它 的 检测 能 力 更 强 。 




















6.3 ”两 神经 元 的 Hopfield 





Hopfield 神经 网 络 常用 十 存储 -个 或 者 多 个 稳定 的 月 





经 网 络 设计 


标 向 量 ， 当 向 网 络 提供 近似 的 向 


量 时 ， 这 些 向 量 就 像 是 被 存储 在 网 络 中 的 一 样 ， 会 被 唤起 。 

Hopfield 神经 网 络 设计 的 日 标 就 是 使 得 网 络 存储 一 些 特定 的 平衡 点 ， 当 给 定 网 络 一 个 
初始 条 件 时 ， 网 络 最 后 会 在 这 样 的 点 上 停 下 米 。 出 于 输出 又 被 反馈 到 和 输入， 所 以 一 电网 络 
开始 运行 ， 整 个 网 络 就 是 递 片 的 。Hopfield 神经 网 络 很 有 可 能 在 原始 设计 好 的 点 上 运行 。 


Hopfield 神经 网 络 的 结构 如 图 6-6 所 示 。 


6.3.1 问题 描述 


考虑 一 个 具有 两 个 神经 元 的 Hopfield 神经 网 络 。 每 个 神经 元 有 -个 阔 值 和 一 个 权重 ， 





这 样 刚好 与 具有 商 个 元 素 的 输入 向 基 相 匹配 。 定 义 存储 在 网 络 中 的 日 标 平衡 点 为 生 阵 了 的 


两 个 列 向 量 。 
T= PE-L-L+U 
T= 
1 
-1 1 


1 。 wearreaamren 
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图 66 Hopfield 神经 网 络 结构 
图 6-7 绘 出 了 Hopfield 状态 空间 疼 ， 其 中 用 “*” 标 记 了 上 述 的 两 个 稳定 点 。 
Hopeiela 网 络 关 网 


吕 


图 6.7 稳定 点 


pletCT(LDTC22ere; 
axis([-1.1 411 -1.1 4. 
title('Hopfield 神经 网 络 状态 空间 ); 


xlabelfa(D)7; 
ylabei(a(2)7 
6.3.2 ”建立 网 络 
使 用 newhop 殉 数 来 建立 网 络 。 


net=newhop(T); 

该 函数 将 返回 每 个 神经 元 的 权 值 和 阔 值 。 可 用 下 面 的 代码 得 到 结果 。 
W=neLLW{TL11 
bactbl1,} 


得 到 的 结果 为 ; 


eeemraemrraanem 了。 = 
rapelipaiprrrreeiiPae 





ER 
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到 = 
0.6925 -0.4694 
-0.4694 06925 
和 = 
0 
0 


6.3.3 ”网 络 的 测试 


下 面 进 行 网 络 的 测试 。 

1， 测 试 一 

首先 ， 使 用 目标 向 量 ?来 测试 其 是 否 被 存储 在 网 络 中 。 使 用 sam 吨 数 ， 并 将 日 标 向 量 
作为 输入 。 


[TYPfAf] = simneb2D,T); 
TY 
得 到 的 结果 为 : 
Y= 
1 -1 
-1 1 
与 我 们 所 设想 的 一 样 ， 网 络 的 输出 就 是 目标 向 量 。 
2. 测试 二 
下 面 继 续 测试 目标 向 量 的 稳定 性 。 我 们 给 网 络 输入 一 个 随机 向 量 ， 并 且 对 网 络 做 20 
步 仿 真 ， 测 试 其 输出 结果 。 我 们 希望 输出 值 为 网 络 的 某 个 稳定 点 。 在 网 络 状态 空间 图 中 最 
示 了 其 到 达 目 标点 的 轨迹 ， 如 图 6-8 所 示 。 


Hopfield 术 经 网 络 状 态 字 间 


了 嫩 0 05 T 
at 


图 6-8 从 一 个 随机 点 求解 的 轨迹 


a={rands(2,1)}; 
[7PfA=simfnet[] 20},} 37 
五 gurey 


sl。 了。 appeeprerpu 
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piotTG 7TC2)rx; 

axist[f-1.1 1.1 -1.1 1.1]); 

titleCHopfield 神经 网 络 状态 空间 少 

xlabel(a1)7: 

yjabellCat2)7 

record= [cell2mat(a) cell2matyjl; 
Start=cell2mat(a)3; 

hold on 
Piot(starttl,1),start(2,1)"bxvrecord(1.2),record(2.277; 














从 图 6-8 可 以 看 出 ， 网 络 输出 最 终 到 达 了 左上 角 的 稳定 点 ， 这 与 我 们 希望 得 到 的 结果 
相 吻合 。 
3 测试 三 


为 了 更 有 力 地 说 明 Hepfield 神经 网 络 对 目标 点 的 跟踪 能 力 ， 我 们 挝 择 了 25 个 随机 起 

始点 来 完成 上 面 刚 做 的 测试 工作 。 

color = ibmy'; 

axist[-1.] 1.1 -1.1 1.1]); 

fitleCHopfield 神经 网 络 状态 空间 

xlabel(a(1))， 

YabelCa(27 让 

hold on 

for ij=1:25 

a = {rands(2.1)}: 

[yPEAf] = simtneb{1 20},{ ai; 

record=[cell2mata) cell2mat(y 让 : 

start=cell2mat(a); 

plottstart(L,ijstart(2,1),kx record(l 

record(2.),color(remG5)+1) 

drawmnow 

emtd; 


在 图 63 中 绘 出 了 这 些 点 到 达 目 标点 的 轨迹 。 可 以 看 出 ， 这 些 点 都 能 够 回 到 稳定 点 。 


Hopfield 神经 网 络 状态 补 周 
T A 


om ASN 








站 
at 


独 6-9 多 个 随机 起 始点 到 达 目标 点 的 轨迹 


es 4 
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当初 始点 离 左上 角 的 稳定 点 较 近 时 ， 其 最 终 就 会 达到 左上 衣 的 稳定 点 
相反 ， 当 初始 点 离 右 下 角 的 稳定 点 较 近 时 ， 也 就 会 到 达 右 下 角 的 稳定 点 
是 由 于 具备 达 种 对 一 个 初始 输入 能 够 找到 其 相应 的 最 近 的 存储 值 的 能 力 ， 使 





得 Hopfield 神经 网 络 模型 十 分 有 用 。 


4， 测试 | 














下 面 考虑 给 网 络 输入 特殊 初始 权重 ， 进 行 仿真 的 情况 。 





axis([-1.1 1.1 -1.11.1)》; 

tieCHopfield 神经 网 络 状态 空间 少 

xlabel(aCt)7; 

yiabel(a2) 

hold on 

plot(0,Okoy; 
P=[L10-0500405+10，-10-0500405+L0] 





[PTA = simtneL{1 50],{ha); 
record=[cell2mata) cell2maty)]; 
start=cell2mat(a); 
lot(start(1.1),start(2.1).kx'srecord(1.2)， 
Tecord(2,).color(remti:5)+D)》 
drawnow 

end 


相应 的 轨迹 如 图 6-10 所 泵 。 


__ Hopfield 神经 | 网 络 状态 字 间 








- .05 本 05 1 
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图 6-10 指定 特殊 初始 点 仿真 得 到 的 轨迹 


人 
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从 图 6-10 可 以 观察 到 一 个 奇怪 的 现象 ， 从 我 们 刚才 指定 的 特殊 初始 点 出 发 的 权重 ， 
在 经 过 网 络 调整 以 后 ， 并 不 回 到 我 们 期 望 的 目标 点 。 它 们 都 回 到 一 个 特定 点 ， 这 个 点 位 于 
我 们 的 两 个 自 标 点 的 连 线 的 正中 间 。 

这 样 看 起 来 好 像 是 整个 网 络 中 又 增加 了 一 个 稳定 点 。 实 际 上 ， 这 并 不 是 一 个 真正 的 稳 
定点 。 








瑟 





吾 



































我 们 指定 的 这 些 特定 初始 权重 都 位 于 目标 点 连 线 的 中 委 线 上 ， 才 会 有 这 
黎 样 的 结果 。 当 这 些 初始 点 由 于 唆 声 影响 ， 对 中 垂 线 稍 有 偏 移 时 ， 再 经 过 仿真 
其 结果 就 不 会 是 这 个 新 增 的 稳定 点。 所 以 说 这 个 点 并 不 是 真正 的 稳定 点 ， 关 

于 这 个 现象 ， 在 设计 网 络 时 应 该 加 以 注意 





例 程 6-2 是 本 问题 的 MATLAB 程序 代码 。 
例 程 6-2 





锡 定 义 存储 在 网 络 中 的 目标 平衡 点 
T=[+1-1-1+l]， 

ploKT(LTC2Drr 

arxis(f-1.1 1.1 -1.1 1.1T)， 

tleCHopfield 神经 网 络 状态 空间 小 
XtabeiCa(1)); 

ytabel(ak2); 

多 建立 网 络 ， 并 得 到 权重 和 阅 值 
net=newhop(TJ; 

W=neLLWILI 

b=netLbf1,1} 

名 使 用 原始 平衡 点 仿真 网 络 

[YPfATl = simCnet2.0 

了 

多 使 用 一 个 随机 点 仿真 网 络 ， 并 绘 出 其 到 达 稳定 点 的 轨迹 
a= {rands(2,1)]; 

[yPEAH = simneb{l 20}1a; 

figure; 

PilotCTG ,NTC2.)wrs 

axis([LL.1 1.1 -1.1 1.1]); 

tileCHopfield 神经 网 络 状态 空间 ); 
Xlabel(Ca() 

ylabetCa(2)7; 

Tecord=[cell2mat(a) cell2mat(y)]; 
start=ccll2mat(a); 

hold on 
plot(start(L1),start(2,1)*bxnvrecord(1,2)irecord(2.) 
移 用 多 个 随机 点 仿真 网 络 ， 并 绘 出 相应 的 轨迹 
figure: 

color = Ygbmy' 
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axis([-1.11.1 -4.1 1.11:; 
fgeCHopfield 柿 经 网 络 状态 空间 
xlabel(af1 7 
yabelCa(2) 7 
hold on 
fori=1:25 
a= [rands(2,10) 
fyPfAB = sim(nettl 2014 .85 
record=[cell2mal(a) cell2mat(y 让 
start=cell2mmat(a; 
plotCstart(L,1)start(2.1).kxrecordtl,:).Tecord(2,)， 
colorfremti5)+HT)》 
drawnow 
endi 
% 给 网 络 指定 特殊 初始 权重 进行 仿 友 ， 得 到 相应 的 轨迹 
figure; 
PlotCTL2)TC22hre 
axistL1.1 LT-1.1 Et 
titeCHopfield 神经 网 络 状态 空间 小 
xlabel('a(1)7: 
yiabel(Ca(2)); 
hoid on 
plot(0.0,koy; 
P=LL0-0500405+10， -10-050040.5+101; 
color = Ygbmy' 
fori=-1:3 
a= fP(C 
fyPEA 日 =simtneb[l 50},{).3) 
Tecord=icell2mat(a) cel2mat(y) 
start=celi2mat(a; 
jstart(2,LUvkxorecord(1.)， 









drawnow 


end 





6.4 三 神经 元 的 Hopfield 神经 网 络 设计 


63 节 介 绍 了 二 神经 元 的 Hopfield 神经 网 络 设计 ， 本 节 再 介绍 三 神经 元 的 Hopfield 神 
经 网 络 设计 实例 。 整 个 设计 过 程 与 6.3 节 基本 相同 。 








问题 措 述 


神经 元 的 Hopfield 神经 网 络 。 每 个 神经 元 有 - -个 阔 值 和 -个 权重 ， 
元 素 的 输入 向 量 相 匹配 。 定 义 存储 在 网 络 中 的 目标 平衡 点 为 矩阵 了 的 
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两 个 三 维 询 向 量 。 


T= [+t+l-1+1-3 -U 


T= 
1 1 
- 1 
-1 - 


图 611 绘 出 了 Hopfield 神经 网 络 状态 空间 网 ， 其 中 用 “* ”标记 了 上 上 述 的 两 个 稳定 点 。 

由 于 为 三 维 空间 ， 为 了 便于 观察 ， 我 们 在 绘图 时 进行 了 必要 的 设置 。 所 有 的 状态 都 将 被 限 

制 在 图 中 的 框 中 。 

axis(LL1-L1-11D5 
set(gcavboxvon7; 


和 





axis manuali; 

hold oni 
plot3(T(LT(C2.).T(3.],re; 
titleCHopfield 神经 网 络 状态 空间 人 
xlabel(a(1)7; 

ylabelfa(2)7; 

zlabelfa(3)7; 

viewt[37.5 30]) 


Hopficld 神经 网 络 状态 空间 
| 
| 
， 过 
1 ， - 
1 四 | 
05 加 
上 1 1 
全 | 
仿 01| 
避 | 
-0.5: | 
| 1 
了 | _ “05 
05 人 
0 0 5 
1 21 at2) 
al 人 ) 
图 6-11 稳定 点 


6.4.2 建立 网 络 
同样 ， 使 用 newhop 函数 来 建立 网 络 。 该 函数 使 用 给 定 的 稳定 点 来 建立 网 络 。 
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net=newhop(T); 

该 函数 将 返回 每 个 神经 元 的 权 值 和 浆 值 。 可 用 下 面 的 代码 得 到 结果 . 
W=neLLWTLT 
b=nerbfLit 


得 到 的 结果 为 : 
双 = 
0.2231 0 0 
0 1L1618 0 
0 0 02231 
b= 
0.8546 
0 
-0.8546 


6.4.3 网 络 的 测试 


下 面 测 试 月 标记 量 的 稳定 性 。 
1 测试 一 
我 们 给 网 络 输入 一 个 随机 向 量 ， 并 且 对 网 络 做 30 步 仿 真 ， 测 试 其 输出 结果 。 我 们 希 
望 输 出 值 为 网 络 的 某 个 稳定 点 。 在 图 6-12 所 示 的 神经 网 络 状态 空间 图 中 显示 了 其 到 达 目 
标点 的 轨迹 -。 
ae= frands(3.1)}; 
TIyPfAf] = simneb{1 101,11a; 
figure; 
axjs(LET-L1L-11)' 
setfgcavboxvomn'》 
axis manual; 
hold on 
ploBTO .DTC227TGrey 
record=[cell2mata) cell2mat(y]; 
Start=ccll2mat(a); 
plot3(start(1,1),start(2.1).start(3,1),bx'record(1:)， 
Teeord(2.:)Tecord(3, 站 
view(i37.5 30]); 
liule(' Hopfield 神经 网 络 状 态 空间 少 


Xlabeltall) 

ylabelnal2)7; 

zilabel(a(3)7; 
从 图 6-12 以 看 出 ， 网 络 输出 最 终 到 达 了 稳定 点 ， 这 与 我 们 希望 得 到 的 结果 相 易 合 。 
2 测试 二 


为 了 更 有 力 地 说 明 Hopfield 神经 网 络 对 目标 点 的 跟踪 能 力 ， 我 们 选择 了 25 个 随机 起 
始点 ， 来 完成 士 面 刚 做 的 测试 工作 。 
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图 6-12 从 一 个 随机 点 求解 的 轨迹 
为 完成 测试 二 ， 我 们 有 如 下 代码 : 


axis([-] 1-11-11]) 

set(Bcayboxony; 

axis manukal; 

hoid on; 

view[37.3 30D; 

plotB(CTCL 7 TCD)TG Je 

color = IEbmy 

fori=1:25 

a= {rands(3.1)}; 

fxPfAH = simCnec{l 10],{1,9]; 

record=[cell2mat(a) cel2mat(y)]; 

Start=celi2mat[a); 

lota(start( LT),start2.1),start(3,T)vkX， 

Tecord(1,:)record(2.)4tecord(3, 

colortremG 3)+1D); 

drawnow 

end 

titleCHopfield 神经 网 络 状态 空间 

Xlabel0all); 

ylabeiCak2)7 

Zabelfa(3) 
在 图 6-13 中 绘 出 了 这 些 点 到 达 目 标点 的 轨迹 。 
可 以 看 出 ， 这 些 点 都 能 够 回 到 稳定 点 。 需 要 注意 的 是 ， 当 初始 点 离 左 上 角 的 稳定 点 较 

近 时 ， 其 最 终 就 会 达到 左上 角 的 稳定 点 。 相 反 ， 当 初始 点 离 右上 角 的 稳定 点 较 近 时 ， 也 就 


会 到 达 布 上 角 的 稳定 点 。 
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Fopfield 神经 阿 络 状 态 空 间 


05 - 、 1 
05 





aa 
af 


网 613 多 个 随机 起 始点 到 达 月 标点 能 轨 迹 


3. 测试 三 
下 面 我 们 指定 - - 些 点 ， 使 用 设计 的 Hopfieid 神经 网 络 来 进行 仿真 。 
axis(f-11-11-11) 
Set(gcavboxvon); 
axis manuaj: 
hold om; 
P=[l0 -1L0 -05 100 100 0000 00 100 
0.00 0.00 -0 0 10 05-101-1L90 001 
view([37.5 30]) 
color =Trgbmy'， 
fori=1:6 
a= [PCGD] 3 
IyPEA 人 = simoet{i 10].1j.3); 
record=lcell2mai(a) cel2mat(yyj; 
start=ceH2rnat(a); 
plot3(start(1,1),start(2.1hstart3,TDox 
Tecord(1,:)sTecord(2:)Trecord(3 
cotorrem(i5)+1)) 
drawnow 











end 

titleCHopfield 神经 网 络 状态 空间 ?; 
xlabeifa(1)7: - 

yabelCaC2)7; 

zlabelCa(3)7; 

一 各 十 的 呈正 好 在 两 个 目标 稳定 上 的 中 间 。 仿 真得 到 的 结 采 如 图 6.14 所 
示 。 从 图 中 可 以 看 出 ， 从 这 些 初 始点 出 发 的 点 ， 最 后 都 到 达 了 两 个 目标 稳定 
点 的 中 源 。 这 不 是 我 们 项 望 得 到 的 稳定 点 。 
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Hopfield 神经 网 络 状态 空间 
加 
站 
忆 
人 
1 | 
| 
05 1 | 
本 0 | 
六 | 
-05 | | 
1 ] 
-4 - 1 
-{ -- 0.5 
-05 





at1) 


6-14 指定 特殊 初始 点 的 仿真 轨迹 


在 上 一 节 我 们 就 提 到 过 这 种 现象 ， 这 并 不 是 一 个 真正 稳定 点 。 当 这 些 初 始点 稍 有 误差 
时 ， 其 经 过 调整 后 就 不 会 再 回 到 这 个 点 上 。 
例 程 6-3 是 本 问题 的 MATLAB 程序 代码 。 


例 程 6-3 

















部 指定 存 情 在 网 络 中 的 日 标 平衡 点 
T=CHL+L-L+L -1 
axis(L11-11-11)5 
Setgcarbox'vDn'): 

axis manual; 

hold on: 

四 oGT0LTL2..T(G3orr; 
titeCHopfield 神经 网 络 状态 空间 7; 
xlabelta(l)y; 

ylabelCa2)7 

zlabelCa(3)7; 

view(37.5307 


名 建立 网 络 ， 并 得 到 权重 和 阅 什 
net=newhop(T): 

W=netLW{L1 

b=netbf114 


名 使 用 一 个 随机 点 仿 俱 网 络 ， 并 绘 出 其 到 达 稳定 点 的 轨迹 
a= [rands(3,1)}: 


eeeaema | 站 2 。 mm 





Ag 
一 -这 ESGRIii 人 WAATLA 有 6.5 RN 


[yPEAH = simtnet{l 10}.(.a); 
fiegure; 

axis([-1 1 -11-11])5 
Set(gcavbox'vor); 

axis ramnual; 

hold on; 

ploG0TG TCD TCD re 
record=[cel2mat(a) cell2mat(y 让 : 
SLart=cell2rmat(a): 
plot3tstart(L,1),start(2.1),start(3,1),bxorecord(1)， 
Tecordf2,]xrecord(3, 

view([37.5 30j) 

titleCHopfield 神经 网 络 状态 空间 
xlabelCa( DJ 

Jabel(a(2)7; 

zlabeifa(3y; 


饮用 多 个 随机 点 仿真 网 络 ， 并 绘 出 相应 的 轨 壕 
figure; 

axist[-11 -11-11]); 
Set(gcavbox'von ); 

axis manual; 

hold oni 

View(l37.5 30]); 

plotaCTGLDT(C2D Tvre 

color = ITEbmy' 

fori=125 

a= {rands(3.0) 

[PRA 们 = smneL{i 10j ja) 
Tecerd=[cell2mat(a) cell2mat(y)]; 
start=cel]2mat(a); 
ploet3(start(1,1))start(2.1),start(3,1) ,kx ， 
record(1,:]arecord(2,:)xrecordf3,， 
colortremi:5)+1D) 

drawnow 

end 

tide(Hopfield 神经 网 络 状态 空 本 小 
xlabelfa(1y; 

ylabelCa(277 

zlabel(at3)7 


名 指定 一 些 特殊 的 初始 点 进行 仿真 ， 并 疹 山 相应 的 轨迹 
figure; 

axis([-11-11-11); 

set(gcavboxvony; 

axis manual 


063 em 





- 通 辅助 神经 网 络 分 析 与 设计 


hold om; 
P=[l0O -0 -0.5 1.00 100 00:00 00 100 


0.00 000-00:-10 10 05-101-100 00: 
view([37.5 30]); 
color =rgbmy; 









[yPEAEI= simanet{1 101.0j.a); 
record=[celi2matta) cell2mat(y), 
start=cejl2mat(a)]; 
plot3(stan(1.D.start(2,U,start(3,1)kx', 
Tecord(1,)xecord(2,:)Tecord(3,)， 
colortrem(i,S)+1) 

drawnow 

end 

titleCHopfieia 神经 网 络 状 态 宣 问 小 
xlabelCa() 

ylabelCaC2)9 

aabel(a(3) 





第 7 章 ， 自 组 织 与 LVQ 神经 网 络 
理论 及 实例 


自 组 织 神经 网 络 〈Self-organizing NNs) 是 无 教师 学 习 网 络 ， 它 模拟 人 类 根据 过 去 经 
验 自 动 适应 无 法 预测 的 环境 变化 。 因 为 没有 教师 信号 ， 这 类 网 络 通常 利用 竞争 的 原则 进行 
网 络 的 学 习 。 

本 章 士 要 内 容 包 括 

量 。 自 组 织 竞争 网 络 

昌 。 自 组 织 特征 映射 神经 网 络 

鲁 。 自 适应 共振 理论 (ART) 

@。CPN 模型 














7.1 自 组 织 竞争 网 络 


自 组 织 竞 争 人 工 神经 网 络 的 形成 也 是 受 生物 神经 系统 的 启发 ， 之 所 以 称 为 日 组 织 竞争 
人 工 神 经 网 络 ， 是 因为 它 一 般 是 由 输入 层 和 竞争 层 构成 的 两 层 网 络 。 本 节 将 详细 讲述 这 种 
网 络 结构 的 基本 思想 和 学 习 规则 。 


7.1.1 自 组 织 竞争 网 络 的 形成 


在 生物 神经 系统 中 ， 存 在 一 种 “ 侧 抑制 ”的 现象 ， 即 一 个 神经 细胞 兴奋 后 ， 通 过 它 的 
分 支 会 对 周围 其 他 神经 细胞 产生 抑制 。 这 种 侧 抑制 式 神经 细胞 之 河 出 现 党 委 ， 虽 然 开 始 阶 
段 各 个 神经 细胞 都 处 于 程度 不 同 的 兴奋 状态 ， 由 于 侧 抑制 的 作用 ， 各 细胞 之 间 相 互 竞争 的 
最 终结 果 是 : 兴奋 作用 最 强 的 神经 细胞 所 产生 的 抽 制 作用 战胜 了 它 周围 所 有 其 他 细胞 的 抑 
制作 用 而 “ 赢 ” 了 ， 其 周围 的 其 他 神经 细胞 则 全 “ 输 ” 了 。 

自 组 织 竞争 人 工 神经 网 络 正 是 基于 上 述 生 物 结构 和 现象 形成 的 。 它 是 一 种 以 无 教师 示 
教 的 方式 进行 网 络 训练 的 ， 具 有 自 组 织 功能 的 神经 网 络 ， 网 络 通过 自身 训练 ， 白 动 对 输入 
模式 进行 分 类 。 在 网 络 结构 上 ， 自 组 织 竞 争 人 工 神经 网 络 一 般 是 由 输入 层 和 竞争 层 构成 的 
两 层 网 络 。 网 络 没有 隐 含 层 ， 两 层 之 间 各 神经 元 实现 双向 连接 ， 有 时 竞争 层 各 神经 元 之 问 
还 存在 横向 连接 。 在 学 习 算法 上 ， 它 模拟 生物 神经 系统 依靠 神经 元 之 间 的 兴奋 、 协 调 与 抑 
制 、 竞 争 的 作用 来 进行 信息 处 理 的 动力 学 原理 ， 指 导 网 络 的 学 习 与 工作 。 
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7.1.2 ” 自 组 织 竞争 网 络 的 基本 思想 


折 组 织 党 争 人 工 神经 网 络 的 基本 思想 是 : 网 络 竞争 层 各 神经 元 竞争 对 输入 模式 的 相应 
机 会 ， 最 后 仅 一 个 神经 元 成 为 竞争 的 胜 者 ， 并 对 那些 与 获胜 神经 元 有 关 的 各 连接 权 朝 着 更 
有 利于 它 竞争 的 方向 调整 ， 这 样 获胜 神经 元 就 表示 对 输入 模式 的 分 类 。 

除了 竞争 方法 外 ， 还 有 通过 抑制 手段 获胜 的 方法 ， 即 网 络 竞争 层 各 神经 元 部 能 抑制 所 
有 其 他 神经 元 对 和 输入 模式 的 响 点 机会， 从 而 使 自己 成 为 获胜 者 。 

此 外 ， 还 有 一 种 侧 抑制 的 方法 ， 即 每 个 神经 元 只 抑制 与 白 己 相 邻 的 神经 元 ， 而 对 远离 
自己 的 神经 元 则 不 抑制 。 因 此 ， 自 组 织 竞争 人 工 神经 网 络 自 组 织 自 适应 的 能 力 进一步 拓宽 
了 神经 网 络 在 模式 识别 、 分 类 方 而 的 应 用 。 


7.1.3 ”两 种 联想 学 习 规 则 


这 两 种 联想 学 习 规 则 是 Instar 学 习 规则 和 Outstar 学 习 规 则 。 
1，Instar 学 习 规则 
由 个 输入 构成 的 格 劳 斯 贝 格 Instar 模型 如 图 7-1 所 秒 。 





中 形 
图 7-1 。 格 劳 斯 贝 格 mstar 模型 


Instar 模型 通过 调节 网 络 权 倘 矢 量 孵 近 似 于 输入 矢量 己 来 训练 菜 一 神经 元 节点 只 响应 
特定 的 输入 矢量 忆 ， 实 现 其 输入 /输出 转换 的 激活 函数 是 硬 限 制 末 数 。 其 对 权 值 修正 的 格 劳 
斯 贝 格 mstar 学 习 规 则 为 ， 





AW 人 GD 旋 =9*(CP( 广 -WCGDxaGD 

其 中 妖 为 网 络 的 学 习 速率 ,由 上 式 可 见 ，A 殉 起 及 与 输出 成 正比 如 果 格 劳 斯 贝 格 Instar 
模型 的 输出 矢量 s 被 某 一 外 部 方式 维护 高 信 时 ， 那 么 通过 不 断 反复 地 学 习 ， 权 值 将 能 够 逐 
渐 趋 近 于 输入 矢量 PC7 门 的 值 ， 并 驱使 A 太 (六 逐渐 减少 ， 直 到 最 终 达到 风 人 六 = 已 六， 
从 而 使 Instar 权 矢 量 学 习 了 输入 矢量 严 ， 达 到 了 用 Instar 模型 来 识别 一 个 矢量 的 目的 。 另 
外 ， 如 果 Instar 模型 的 输出 保持 为 低 值 时 ， 网 络 权 矢 量 被 学 习 的 可 能 性 较 小 ， 甚 至 不 能 被 
学 习 。 

对 于 一 个 己 训 练 过 的 Instar 模型 ， 当 答 入 端 再 次 出现 该 学 习 过 的 输入 矢量 时 ， 其 产生 
】 的 吉 权 输入 和 ， 而 与 学 习 过 的 矢量 不 相同 的 输入 出 现时 ， 所 产生 的 加 权 输 入 和 总 是 小 于 
1， 由 此 可 见 ，Instar 加 权 输 入 和 公式 中 的 权 值 丈 与 输入 矢量 已 的 点 积 ， 反 映 了 输入 失 量 
与 网 络 权 矢量 之 问 的 相似 度 ， 当 相似 度 接近 于 1 时 ， 表明 输入 矢量 尸 与 权 矢 量 相似 ， 并 通 








AS 
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过 进 - 步 学 习 。 能 够 使 权 矢 量 对 其 输入 矢量 共有 更 大 的 相似 度 ， 当 多 个 相似 输入 矢量 输入 
Instar 模 列 时 ， 最 终 的 训练 结果 是 使 网 络 的 权 矢 晶 趋 向 于 相似 输入 矢量 的 平均 值 。 
2 Outstar 学 习 规则 
由 了 个 输出 节点 构成 的 格 入 浙 由 格 Outstar 模型 如 疼 7-2 所 示 。 





3.2 格 劳 斯 几 格 Outstar 模型 


Outstar 模型 被 训练 来 在 一 层 个 8 线性 神经 元 的 答 出 端 产 生 一 个 矢量 3， 其 激 落 函 数 是 
线性 鹃 数 ， 它 被 用 来 学 习 回忆 一 个 矢量 。Outstar 模型 连接 强度 的 变化 A 多 二 与 输入 大 量 
疡 成 正比 的 ， 其 对 权 值 修正 的 格 劳 斯 贝 格 Outstar 学 习 规则 为 ; 

A 久 信用 = 有 TY(Q( 放 一 厂 人 及 * PPO 

其 中 用 为 网 络 的 学 习 速 率 。 由 上 式 可 见 ,A 丈 (人 六 与 笨 入 成 正比 "如果 格 劳 斯 内 格 mnstar 
模型 的 输入 矢量 P( 方 被 保持 尚 值 时 ， 那 么 通过 反复 地 学 习 ， 权 值 替 能 够 这 渐 趋 近 寺 答 出 
矢量 at 的 全 ,并 驱使 A 隐 公 , 方 逐 渐 减少 , 直到 最 终 达 到 了 到 人 用 = ai0 。 当 有 个 Outstar 
相 并 联 时 ， 舍 个 Outstar 模型 与 s 个 线性 神经 元 相连 组 成 - 层 Outstar 时 ， 每 当 某 个 Outstar 
的 输入 节点 被 置 为 1 时 ， 与 其 相连 的 权 值 矢量 就 会 被 训练 成 对 应 的 线性 视 经 元 的 输出 矢 


量 。 另 外 ， 如 果 Dutstar 模型 的 输入 保持 为 低 值 时 ， 网 络 的 权 矢 量 被 学 习 的 可 能 性 较 小 ， 
甚至 不 能 被 学 习 二 修正 。 


7.1.4 ”基本 竞争 型 人 工 神经 网 络 





基本 竞争 型 人 工 神经 网 络 由 输入 层 和 竞争 层 组 成 ， 输 入 层 有 六 个 神经 元 ， 营 争 居 有 有 
4 个 神经 施 ， 其 网 络 基 本 结构 如 图 7-3 所 示 。 


竞争 层 





蜀 7-3 ” 基 木 竞争 网 络 结构 


0 






区 过 MAILAB 6.5 辅助 神经 网 络 分 析 与 设计 


其 中 网 络 的 连接 权 为 他 ,上 三 = 12,N ， 了 = 2 , 且 约 束 条 件 为 : 


， 
见 =1 (7.0 
I=1 


网 络 的 了 个 二 值 输入 学 习 筑 式 为 ， 已 = (pk t， 85 ) ， 与 其 对 应 的 竞争 层 输 出 模 
式 为 = (G4 人 6) ， 克 二 二 2.7。 

网 络 的 学 习 规则 为 

1) 初始 化 ， 按 照 式 〈7.1》 的 约束 条 件 贱 予 争 ) } 为 [011 区间 内 的 随机 值 ， 








1=12N: =12…M， 
(2)》 任 选 了 个 学 习 模式 中 的 一 个 模式 只 提供 给 网 络 的 输入 层 ; 
(3) 按照 下 式 计算 竞争 层 各 神经 元 的 输入 值 8 : 
5 = 六 风 及 ， 1=12…N 
气 


(4) 按照 “ 胜 者 为 王 ”的 原则 ， 以 S (了 =12…,M ) 中 最 大 值 所 对 应 的 神经 元 作 
为 胜 者 ， 将 其 输出 状态 午 为 1， 而 其 他 所 有 神经 元 的 输出 状态 值 为 0， 即 : 
ai=1， Si>S06zD 
ae=0， ix (7.2) 
如 果 出 现 S，= 3; 的 现象 ， 则 按 统一 约定 取 左 边 的 神经 元 为 获胜 神经 元 。 
(5》 与 获胜 神经 元 相连 的 各 连接 权 技 照 十 式 进行 修正 ， 而 其 他 所 有 连接 权 保 持 不 变 。 


二 十 Anwy 





Am = 人 全 一同 ) 


一 2 N(O<7 了 <T 〈《3.3) 
其 中 四 为 学 习 系数 ， 半 为 第 大 个 学 习 模式 琉 = (PP py) 中 元 素 为 工 的 个 数 。 


(6) 选取 男 一 个 学 习 模式 ， 返 回 步骤 (3)， 直 至 了 个 学 习 模式 全 部 提供 给 网 络 。 
《7) 返回 步骤 (2)， 直 至 各 连接 权 的 调整 量变 得 很 小 为 小 。 


以 .上 的 学 习 规则 分 析 如 下 : 
@ 式 (73)》 中 的 学 习 系数 妖 反映 了 学 习 过 程 中 连接 权 调 整 量 的 大 小 ， 媳 的 典型 值 
一 般 为 001~-0.03。 














era 和 GS = 








ER 
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时 由 式 〈73) 可 见 ， 当 已 为 1 时 ， 竞 争 层 获胜 神经 元 ) 与 输入 层 神经 元 ;之 间 的 连 
接 权 wy 在 满足 式 〈7.1) 的 约束 条 件 下 右 wy <1， 所 以 其 调整 量 为 正 。 即 连接 权 
向 增 大 的 方向 变化 ， 当 如 为 0 时 ， 其 调整 量 为 负 ， 即 连接 权 癌 减 小 的 方向 变化 。 
质 有 的 连接 权 始 终 企 01) 之 问 变 化 。 

@@。 当 同 -个 学 习 模 式 反复 提供 给 网 络 学 习 后 ， 则 这 - 模式 前 次 所 对 应 的 党 争 层 获胜 
神经 元 的 输入 值 $ 会 逐渐 增 大 ， 继 续 保持 其 胜 者 的 地 位 。 当 与 这 -学习 模 式 非 
常 接近 的 模式 提供 给 网 络 时 ， 也 将 促使 同 -神经 元 在 竞争 中 获胜 。 因 此 ， 在 网 络 
回想 时 ， 就 可 以 很 据 所 记忆 的 学 习 模式 按照 式 《7.2》 对 输入 模式 做 出 最 邻近 分 
类， 即 以 竞争 层 获胜 神经 元 表示 分 类 结果 - 


7.2 自 组 织 特征 映射 神经 网 络 


自 组 织 特征 贞 射 网 络 (Self-organizing feanure map，SOM 网 络 ) 是 由 芬兰 炙 尔 六 划 人 
学 神经 网 络 专家 Kohonen 教授 在 1981 年 提出 的 ， 这 种 网 络 模拟 大 脑 神经 系统 自 组 织 特征 
映射 的 功能 ， 它 是 “种 竞争 式 学 习 网 络 ， 在 学 习 中 能 无 监督 地 进行 站 组 织 学 习 。 

自 组 织 特征 映射 网 络 应 用 广泛 ， 可 用 于 语言 识别 、 图 像 压缩 、 机 器 人 控制 、 优 化 问题 
等 . 


7.2.1 自 组 织 特种 岂 射 网 络 的 结 梅 





Kohonen 网 络 结构 如 图 7-4 所 示 ， 它 生得 入 层 和 竞争 层 组 成 。 


赵 争 层 


箱 人 展 





图 74 白 组 织 特征 映射 网 络 结构 


输入 层 神经 元 数 为 疡 ， 竞 争 层 由 M = 加 个 神经 元 组 成 ， 且 构成 一 个 二 维 平面 了 列 。 
输入 层 与 竞争 层 之 间 实 行 全 互 连 接 ， 有 时 竞争 层 各 神经 元 之 间 还 实行 侧 抑制 连接 。 网 络 中 
有 亲 种 连接 权 ， 一 种 是 神经 元 对 外 部 输入 反应 的 连接 权 值 ， 另 “种 丰 神 经 元 之 问 的 连接 权 
值 ， 它 的 大 小 控制 着 神经 元 之 间 的 交互 作用 的 大 小 。 


7.2.2 自 组 织 特 征 喘 射 的 算法 
白 组 织 特征 卫 射 算法 是 - -种 无 教师 示 教 的 聚 类 方法 ， 它 能 将 仔 意 输 入 席 式 在 输出 层 贞 


射 成 - 维 或 二 维 离散 图 开 ， 并 保持 其 二 扑 结 构 不 变 ， 即 在 无 教师 示 教 的 情况 F， 通 过 对 输 
入 模式 的 自 组 织 学 习 ， 在 竞争 层 将 分 类 结果 表示 出 来 。 此 外 ， 网 络 通 过 对 笨 入 模式 的 反复 





mm 169 
re 








“是 _MATLAB 6.5 辅助 神经 网 络 分 析 与 设计 





学 习 ， 可 以 使 连接 权 矢 量 空 间 分 布 密度 与 输入 模式 的 概率 分 布 趋 于 一 至， 即 连接 权 矢 其 空 
间 分 布 能 反映 输入 模式 的 统计 特征 。 

对 寺 输 入 模式 ， 神 经 网 络 的 不 同 区 域 具有 不 同 的 啊 应 特征 。 遂 常 只 有 个 神经 泡 战 局 
部 区 域 的 神经 元 对 输入 异 式 有 积极 响应 ， 图 7-5 显示 了 一 维 阵 列 分 布 的 自 组 织 特征 映射 网 
络 ， 输 入 模式 里 = [为 ,zz 下 并 行 连接 到 网 络 的 每 一 个 神经 元 ， 而 每 个 神经 元 对 应 一 
个 权 向 量 瘀 ， 它 是 网 络 的 可 调 参数 。 对 于 和 输入 模式 导 ， 每 个 神经 元 的 权 向 量 都 和 其 进行 
比较 ， 臣 离 最 近 的 权 向 量 会 白 动 调节 直到 与 输入 模式 时 的 某 “ 最 大 主 分 量 的 方向 相 重合 
为 止 。 
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图 75 一 维 阵列 的 自 纽 织 特征 映射 网 络 
月 组 织 特征 瑞 射 的 算法 ， 具 体 过 程 如 F。 对 于 输入 模式 大 ， 首 先 确定 中 心神 经 元 M 。， 
满足 | 一 M。| = minf{|X, -Mi 册 。 然 后 ， 对 以 r 为 中 心 的 周围 的 神经 元 的 权 向 其 按 下 
式 进行 调整 。 
天 大)[ 和 一 Me (天 
MAHD= Mi )+e 并 LOLis No) 
MD No(R) 
其 中 N 表示 由 加 为 中 心 的 周围 神经 元 组 成 的 领域 。 在 学 习 中 ， AN. (5) 的 初始 可 选 
大 些 ， 然 斤 丈 步 收缩 ， 通 常 ， 学 习 系数 a(k) 在 初始 时 可 取 接 近 于 1.0 的 常数 ， 然 后 逐渐 变 
小 ， 例 如 ea(K) 可 取 为 0.9(t-KA1000) 。 


7.2.3“ 自 组 织 特 征 映 射 网 络 的 学 习 及 工作 规则 


将 图 7.5 所 示 的 自 组 织 上 映 射 网 络 结构 中 各 输入 神经 元 与 竞争 层 昼 经 所 了 的 连接 情况 抽 
出 ， 如 图 7-6 所 未 。 




















图 7.6 “输入 神经 元 与 竞争 层 神经 元 的 连接 示意 
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设 网 络 的 输入 模式 为 = (下 ,的 P5) ， 天 =12..g 。 竞 争 层 神 经 元 矢 丰 为 
和 =(amhapoeogim， 了 =12m)。 其 中 ， 瑟 为 连续 值 ， 人 为 数字 量 。 竞 争 尼 神经 
瑟 了 与 输入 层 神 经 元 之 间 的 连接 权 矢 量 为 厂 ) = (W 
=12M。 

Kohonen 学 习 规则 是 白 Instar 规则 发 展 而 来 的 。 对 寺 其 值 为 0 或 1 的 Instar 柜 型 输出 ， 
只 对 输出 为 1 的 Instar 权 和 矩阵 进行 修正 , 即 学 习 规 则 具 应 用 于 输出 为 1 的 mnstar 上 , 将 Instar 
模型 的 学 习 规 则 中 的 输出 & 取 值 1， 则 可 导出 Kohonen 规则 。，Kohonen 讽 络 的 白 组 织 学 习 
过 程 包括 两 个 部 分 : 一 是 选择 最 佳 匹 配 神 经 元 ， 二 是 权 矢 量 自 适应 变化 的 更 新 过 程 。 

Kohonen 网 络 的 自 组 织 学 习 过 程 也 可以 描述 为 ， 对 于 每 一 个 网 络 的 输入 ， 只 调整 - 部 
分 权 值 ， 使 权 向 最 更 接近 或 更 偏离 输入 矢量 ， 这 -调整 过 程 就 是 竞争 学 坊 。 随 者 不 断 的 学 
习 进 程 ， 所 有 权 矢 其 都 在 输入 矢量 空间 相互 分 离 ， 形 成 了 各 上 白 代表 输入 空间 的 一 类 模式 ， 
这 就 是 Kohonen 网 络 的 特征 自动 识别 的 聚 类 功能 。 

网 络 的 学 习 及 工作 规则 为 ， 


(1) 初始 化 。 将 网 络 的 连接 权 姐 , } 赋 子 D，1] 区 问 内 的 随机 值 ，i= 12，…,N ， 


WP 一 L2N 





了 =12,…,M 。 确 定 学 习 速 率 1(0) 的 初始 值 F(O)O < ?GO) <D :确定 邻 域 Y, (GD 的 初始 


值 N。 (0) 。 邻 域 N,() 是 指 以 步骤 〈4) 确定 的 获胜 神经 元 8 为 中 心 ， 且 包含 若干 神经 抑 


的 区 域 范围 。 这 个 区 域 一 般 是 均匀 对 称 的 ， 最 颈 型 的 是 正方 形 或 图形 区 域 ， 如 图 7-7 所 不 。 
(9) 的 值 表示 在 第 上 次 学 习 过 程 中 邻 域 中 所 包含 的 神经 元 的 个 数 ， 俩 定 总 的 学 习 次 数 


了 。 














图 7 被 选 神经 元 /7 及 其 邻 域 变化 
(2) 任 选 9 个 学 习 模式 中 的 一 个 模式 及 提供 给 网 络 的 输入 层 ， 并 进行 归 - 化 处 还 。 
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(3) 对 连接 权 矢量 印 | = (win wjar:sww) 进行 归 - -化 处 理 ， 计 算 古 与 玉 之 问 的 
欧 氏 距离 ， 


一 Wi OompnPreai) 


Ti 二 袜 
四 KeyGos2 + +ooa2]5 





d =[》 (Pi)2 防 ,7=12M 
1 


《4) 找 出 最 小 距离 d。， 确 定 获胜 神经 元 8 。 
4 =minfdj]， 了 =12…M 
《5)》 进行 连接 权 的 调整 。 对 竞争 层 邻 域 N, (D 内 的 所 有 神经 元 与 输入 层 神经 元 之 间 
的 连接 权 进 行 修 正 。 





wiiG+D= whD+TGD) [PE 一 waD] 
JeNiD， 7j=12..M (0<nD<D 


其 中 70) 为 + 时 刻 的 学 习 速 率 。 


〈6) 选取 另 一 个 学 习 模式 提供 给 网 络 的 输入 层 ， 返 回 步骤 〈3)， 直 至 4 个 学 习 模 式 
全 部 提供 给 网 络 。 


《7) 更 新 学 习 速率 TD) 及 邻 域 Ni (CD ， 


TD=TOU 了) 














中 1(0) 为 初始 学 习 速 率 ，! 为 学 习 次 数 ， 了 为 总 的 学 习 次 数 。 

设 竞争 层 某 神经 元 8 在 二 维 阵 列 中 的 坐标 值 为 (xs,ys) ， 则 邻 域 的 范围 是 以 点 
CN (GD +N (和 点 (xs -Nis(D,ye 一 Na(D) 为 有 三 角 和 左下 角 的 正方 形 。 其 
修正 公式 为 ; 























NeO= NTINe(OQG- 人 1 
式 中 TYTT[2z] 为 取 整 符号 ， (0) 为 Ni(D 的 初始 值 。 
《8) 令 #=!+1， 返 回 步 又 (2?， 直 至 ! = 了 为止。 
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7.3 自 适 应 共振 理论 (ART) 

















对 十 BP 网 络 ， 如 果 学 习 所 用 的 模式 是 书 知 ， 且 是 固定 的 ， 那 么 网 络 经 过 反复 学 习 可 
以 记 住 这 些 团 定 模式 。 - 旦 出 现 新 的 模式 ,网络 的 学 习 往 往 会 修改 甚至 删除 已 学 习 的 结果 ， 
从 而 网 络 只 记得 最 新 的 模式 。 

ART 网 络 的 最 初 模型 为 ARTL， 只 用 二 一 进 制 输入 ， 后 来 有 可 适用 十 连续 信号 输入 的 
ART2， 然 后 又 发 展 了 ART3 . 

ART 网络 是 - -种 向 其 模式 的 识别 器 ， 它 根据 存储 的 模式 对 输入 向 量 进行 分 类 ， 其 简 
化 的 结果 如 图 7-8 所 示 。 当 人 存储 的 模式 中 有 的 模式 和 输入 模式 相 匹配 时 ， 代 表 该 他 储 借 式 
的 参数 就 被 调整 以 更 接近 输入 模式 。 反 之 ， 如 果 在 存储 模式 中 ， 没 有 发 现 和 输入 模式 相 匹 
配 的 模式 时 ， 则 输入 模式 作为 新 的 模式 被 存储 到 网 络 中 ， 其 他 的 存储 模式 保持 不 变 。 

如 贸 7-8 所 二 ，ART 网 络 出 比较 和 识别 的 两 层 神经 元 组 成 ， 增 益 榨 制 !、2 和 复 针 用 
来 控制 网 络 的 学 习 和 分 类 、 

ART 网 络 的 工作 过 程 如 下 。 当 没有 输入 时 ， 大 的 所 有 成 分 为 0， 使 得 雯 益 秆 阵 2 的 
售 叶 为 0， 因 此 也 使 得 识别 层 的 输出 全 为 0。 当 加 入 输入 向 量 夺 时 ， 因 为 夸 必 含有 不 为 0 
的 元 素 ， 因 此 增益 控制 1 和 2 的 信号 均 为 1， 从 而 使 比较 层 的 输出 向 量 C 和 输入 向 最大 


完全 相同 。 接 着 识别 忆 寻 找 和 C 最 匹配 的 神经 元 ， 并 使 其 输出 为 1， 即 方 =1， 其 他 神 


经 元 输出 均 为 0。 然 后 由 六 = 1 决定 比较 层 中 对 应 的 存储 模式 厂 = 作 ioastn] 作为 向 





量 已 。 由 于 六 =1， 增 益 控制 1 的 信 芝 被 强制 为 0， 这 时 比较 层 的 输出 就 是 外 比较 和 和 


已 产生 的 结果 。 如 果 由 王 而 下 的 反馈 信号 和 输入 模式 不 匹配 《〈 己 和 于 对 应 的 成 分 个 同 ) 
时 ，(C 的 相应 成 分 就 变 为 0。 因 此 若 C 的 成 分 中 0 多 ， 而 慰 的 成 分 中 虐 多 时 ， 表 明 由 上 
而 下 的 反馈 模式 己 在 是 所 寻找 的 横 式 ,此 时 产生 复 轩 信号, 使 识别 层 被 激活 的 神经 拒 复 原 ， 
即使 其 输出 为 0。 
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图 7-8 ART 网 络 的 简化 结构 






如 果 没 有 产生 复 置 信号 ， 则 表明 由 上 而 下 的 反馈 模式 和 输入 模式 匹配 。 友 之 ， 则 必须 
搜索 其 他 存储 模式 ， 看 是 否 和 输入 模式 相 匹配 ， 这 - -过 程 反 复 进行 ， 直 到 找到 一 个 相片 配 
的 存储 模式 。 如 果 在 所 有 的 存储 模式 中 都 没有 找到 相 匹 配 的 模式 时 ， 输 入 模式 作为 新 的 模 
式 存储 到 网 络 中 。 

自 适 应 谐振 理论 《ART) 网 络 具 有 不 同 的 版 本 。 图 7-9 表 丰 ART-1 版 本 ， 用 于 处 理 
二 元 输入 。 新 的 版 本 ， 如 ART- 2 ， 能 够 处 理 连 续 值 输 入 。 
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图 7-9 -个 ART-!L 网 络 


从 图 7-9 可 见 ， 一 个 ART-1 网 络 含有 两 层 ， 一 个 输入 层 和 一 个 输出 层 。 这 两 层 完全 互 
连 ， 该 连接 治 着 正 向 《 自 底 向 上 ) 和 反馈 【〔 自 项 向 下 ) 两 个 方向 进行 。 自 底 向 上 连接 至 
个 输出 神经 元 ; 的 权 矢 量 太 形成 它 所 表示 的 类 的 一 个 样本 。 全 部 权 矢量 内 构成 网 络 的 长 
期 存储 器 ， 用 于 选择 优胜 的 神经 元 ， 该 神经 元 的 权 矢 量 见 最 相似 于 当前 输入 模式 。 自 顶 
向 下 从 一 个 输出 神经 元 ;连接 的 权 矢 量 用 于 警戒 测试 ， 即 检验 某 个 输入 模式 是 否 足够 靠近 
已 存储 的 样本 。 和 警戒 矢量 又 构成 网 络 的 短期 存储 器 。 允 和 内 是 相关 的 ， 隐 是 萎 的 - 个 规 

















格 化 副本 ， 即 : 
人 
殉 | = 二 《7.4) 
e+ 了 人 
在 式 〈7.4) 中 ，e 为 一 小 的 常数 ， 仿 为 芳 的 第 个 分 量 〈 即 从 输出 神经 元 宇 到 输入 神 
经 元 / 连接 的 权 值 )。 


当 ART-1 网 络 在 工作 时 ， 其 训练 是 连续 进行 的 ， 且 包括 下 列 步 骤 : 

《1) 对 于 所 有 输出 神经 元 ， 预 去 样本 矢量 多 及 警戒 矢量 儿 的 初 值 ， 设 定 每 个 兄 的 所 
有 分 量 为 !， 并 据 式 〈7.4) 计算 风 。 如 果 一 个 输出 神经 元 的 全 部 警戒 权 值 均 置 1， 则 称 为 
独立 神经 元 ， 因 为 它 不 被 指定 表示 任何 模式 类 型 。 

(2) 给 出 一 个 新 的 输入 模式 x。 

《3) 使 所 有 的 输出 神经 元 能 够 参加 激发 竞争 。 

(4) 从 竞争 神经 元 中 找到 获胜 的 输出 神经 元 ， 即 这 个 神经 元 的 x.W, 值 为 最 大 ， 在 开 
始 训练 时 或 不 存在 更 好 的 输出 神经 元 时 ， 优 胜 神经 元 可 能 是 一 个 独立 神经 元 。 

(5) 愉 查 该 输入 模式 x 是 否 与 获胜 神经 元 的 警 成 矢量 足够 相似 。 相 似 性 是 由 x 的 微分 
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一 和 电 7 幸 自 旨 织 与 LVQ 神经 由 络 现 六 RI 人 WAATLA 忆 6.S mm 


式 了 检测 的 ， 即 : 
一 MX 
之 二 


如 果 值 小 于 警 成 疾 值 r(D<r <1)， 那 么 可 以 认为 二 与 区 是 足够 相似 的 。 

(6)》 如 果 r3 > , 即 存在 谐振 ， 则 转向 第 〈7) 步 ， 否则 ， 使 获胜 神经 元 暂时 碟 少 进 
步 竞争 ， 并 转向 第 (4) 步 ， 重 复 这 过程 直至 不 存在 更 多 的 有 能 少 的 神经 元 为 止 。 

《7) 调整 最 新 获胜 神经 元 的 警戒 矢量 见 ， 对 它 逻 辑 加 上 x， 删 去 由 内 而 不 出 现在 x 内 
的 位 ， 据 式 〈7.4)， 用 新 的 到 计算 白 底 向 上 样本 矢量 允 ， 激活 该 获胜 神经 元 。 

(8) 转向 第 (2) 步 。 

上 述 订 练 步骤 能 够 做 到 : 如 果 问 样 次 序 的 训练 模式 被 重复 地 送 至 此 网 络 ， 那 么 其 长 期 
和 短期 存储 器 保持 不 变 ， 即 该 网 络 是 稳定 的 。 假 定 存在 足够 多 的 输出 神经 元 来 表示 所 有 不 
间 的 类 ， 那 么 新 的 模式 总 是 能 够 学 得 ， 因 为 新 模式 可 被 指定 给 独立 输出 神经 元 ， 如 果 它 不 
与 原来 存储 的 样本 很 好 匹配 的 话 〈 即 该 网 络 是 塑 忻 的)。 

总 的 说 来 ，ART 的 特点 如 下 : 

章 “ART 是 一 种 非 监督 ， 向 基 类 聚 的 竞争 学 习 算法 。 
ART 对 “弹性 一 稳定 性 ”问题 提供 种 解决 办 法 。 
ART 是 以 认 知 学 和 行为 学 为 基础 的 模型 。 
ART 在 输入 与 输出 层 使 用 大 量 反 书 连 接 。 
ART 可 用 非 线性 徽 分 方程 组 描述 。 
ART 能 工作 十 实数 模式 或 - 什 模 式 输入 。 





《7.5) 





7.4 _CPN 模型 


CPN (Counter Propagation Network)， 它 是 利用 了 自 组 织 映 射 近似 函数 的 一 种 新 的 觅 
射 神经 网 络 ， 网 络 结构 的 主要 特点 是 组 台 Kohonen 的 自 组 织 上 映射 和 Grossberg 的 外 志 
(outstar) 结构 。 图 7-10 是 前 向 传递 的 CPN 模型 ， 前 向 传递 的 CPN 由 三 层 构成 : 输入 
层 、Kohonen 层 和 Grossberg 居 。 





第 三 层 :Grossberg 居 
第 二 层 :Kohonen 屋 


第 一 骨 ， 输入 层 








Per 





图 7-10 前 向 传递 的 CPN 


ga 
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各 层 的 基本 特性 和 作用 可 描述 如 下 : 

第 - 层 : 输入 层 ， 提 供 网 络 学 习 用 的 向 量 对 (X ,7) ， 有 了 = AZ) 

第 二 层 : Kohonen 层 ， 由 六 个 神经 元 组 成 ， 其 输出 分 别 为 mi ,zz，……Zwr 且 ;: 
-- | 着 对 所 有 jj -站 < 避 -对 


0，efse 





(7.67) 


这 里 | .为 网 要 里 德 距离 。 对 于 输入 向 量 X，Kohonen 层 只 有 与 其 最 近 的 神经 元 被 
激活 ， 输 出 为 1， 其 他 神经 元 输出 都 为 0。 此 时 被 激活 的 神经 元 的 权 向 量 按 下 式 ; 





到 = 肌 +eDGXE 一 肌 ”) 


其 中 0 和 al 未 1 ， 起 始 时 取 较 大 的 数 ， 如 0.8， 然 后 随 着 训练 逐渐 减 小 。 当 训练 结 
束 后 ， 权 向 量 保持 不 变 ， 此 时 只 有 《7.4》 式 用 来 沁 定 中 间 层 的 输出 。 


第 三 层 ，Grossberg 层 ， 出 殉 个 神经 元 组 成 ， 其 输出 分 别 为 帮 ， ， 且 ， 


1 = 有 0 一 久 )5 

这 里 了 = (tpsst)7 旦 连接 第 : 层 的 神经 元 了 的 权 向 量 ，BKO< 有 <D 是 
Grossherg 学 习 规 则 中 的 学 习 常数 。 由 于 中 间 层 的 输出 中 只 有 一 个 为 1 〈 即 zi =1)， 因 此 
第 三 层 神经 元 的 输出 》 就 取 1 ， 这 旦 四 是 第 二 情 神 经 元 和 第 三 层 神经 元 相连 的 权 值 ， 
且 只 有 权 向 量 7 根据 Grossberg 学 习 规 则 得 到 调节 。 当 训练 完成 后 ， 网 络 将 输出 对 应 激活 
第 二 层 同 一 神经 元 的 向 景 对 ( 丰 ,Y) 中 所 有 了 的 平均 值 。 

原则 上 上 讲 ， 增 加 第 二 层 神经 元 的 数 日 ， 可 以 提高 函数 近似 的 精度 ， 因 此 和 BP 网 络 一 
样 ，CPN 可 用 来 近似 -: 般 的 连续 函数 。 但 实际 上， 要 达到 - 定 的 精度 ， 所 需 的 神经 元 数 
目 比 BP 网 络 要 大 得 多 。 尽 管 如 此 ，CPN 具有 潜在 的 应 用 前 景 ， 可 用 于 图 像 处 理 和 统计 分 
析 。 
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第 8 章 ， 自 组 织 与 LVQ 神经 网 络 
应 用 设计 分 析 


白 组 织 神经 网 络 是 神经 网 络 领域 中 最 吸引 人 的 话题 之 一 。 这 种 结构 的 网 络 能 够 从 输入 
信息 中 找 出 规律 ， 以 及 关系 ， 并 且 根 据 这 些 规律 来 相应 地 调整 网 络 ， 使 得 以 后 的 输出 与 之 
相 适应 。 前 面 介 绍 了 自 组 织 与 LVQ 神经 网 络 的 理论 并 列举 了 一 些 实例 ， 本 章 将 介绍 自给 
织 与 LVQ 神经 网 络 的 设计 方法 。 

本 章 主要 内 容 

人 @@。 自 组 织 竞争 网 络 在 模式 分 类 中 的 应 用 

@@ ”二 维 自 组 织 特征 上 映 射 网 络 设计 

@@。 LVQ 模式 分 类 网 络 设计 


8.1 引 言 


自 组 织 神经 网 络 是 神经 网 络 领域 中 最 吸引 人 的 话题 之 一 。 这 种 结构 的 网 络 能 够 从 输入 
信息 中 找 出 规律 ， 以 及 关系 ， 并 且 根 据 这 些 规律 来 相应 地 调整 网 络 ， 使 得 以 后 的 输出 与 之 
相 适 应 。 
在 MATLAB 6.5 提供 的 神经 网 络 工具 箱 中 ， 自 组 织 网 络 被 分 为 自 组 织 竞争 网 络 自 组 
织 特 征 映射 网 络 两 种 。 

自 组 织 竞争 网 络 能 够 识别 成 组 的 相似 输入 向 量 ， 常 用 于 进行 模式 分 类 。 在 本 章 的 第 2 
节 ， 我 们 将 设计 一 个 自 组 织 竞争 神经 网 络 ， 对 输入 样本 向 基 进 行 学 习 ， 使 其 能 够 对 一 般 的 
输入 向 量 进行 分 类 。 

自 组 织 特 征 映射 神经 网 络 根据 输入 向 量 在 输入 空间 的 分 布 人情 况 对 它们 进行 分 类 。 白 组 
织 特征 映射 神经 网 络 不 但 能 够 学 习 输入 的 分 布 情况 〈 这 一 点 和 自 组 织 竞 争 神经 网 络 一 样 )， 
而 且 可 以 学 习 进 行 训练 的 输入 向 量 的 拓扑 结构 。 在 本 章 的 第 3 节 ， 我 们 将 设计 -个 白 组 织 
特征 映射 网 络 ， 对 二 维 的 输入 向 量 进行 学 习 ， 使 其 能 够 根据 输入 向 量 的 分 布 ， 由 应 地 在 输 
入 空间 中 表示 出 不 同 的 区 域 。 

学 习 向 量 量化 (LYQ) 神经 网 络 则 是 一 种 有 监督 的 训练 竞争 层 的 方法 。 竞 争 层 白 动 学 
习 对 输入 向 量 的 分 类 。 但 是 ， 竞 争 层 进行 的 分 类 只 与 输入 向 量 之 间 的 距离 有 关 。 刀 果 输 入 
向 量 非 常 相 近 ， 那 么 竞争 层 就 很 有 可 能 将 它们 时 到 -类 。 在 本 章 的 第 4 节 ， 我 们 将 设计 
个 LVQ 模式 分 类 神经 网 络 。 
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8.2 ” 自 组 织 芝 争 网 络 在 模式 分 类 中 的 应 用 


委 组 织 竞争 网 络 的 简单 工作 过 程 是 网 络 输 入 模式 向 量 后 ， 按 照 某 一 规则 让 输出 层 节点 
开始 竞争 ， 汉 某 - -节点 竞争 获胜 后 ， 对 权 结 构 按照 能 使 获胜 的 节点 对 该 类 模式 更 加 敏感 的 
方向 进行 调整 。 当 网 络 再 输入 这 个 模式 或 者 相近 模式 时 ， 该 节点 更 易 获 有 性， 同时 ， 其 他 节 
点 受到 抑制 ， 从 而 对 该 类 模式 不 敏感 而 难以 获胜 。 当 有 其 他 类 模式 输入 时 ， 这 些 节点 再 参 
与 有 希望 的 竞争 。 

自 组 织 竞争 神经 网 络 的 这 些 特性 使 得 其 适合 在 模式 分 类 中 应 用 。 下 面 我 们 就 要 使 用 自 
组 织 党 争 神经 网 络 设计 一 个 模式 分 类 器 。 

自 组 织 竞 争 神经 网 络 的 结构 如 图 8-1 所 示 。 


























Input Competitive Layer 





图 8-1 自 组 织 竞争 神经 网 络 结构 


8.2.1 ”问题 描述 


给 网 络 输入 一 些 类 别 的 样本 向 量 ， 经 过 训练 后 ， 网 络 调整 权 值 ,对 于 以 后 输入 的 向 量 ， 
网 络 能 够 将 它们 进行 正确 的 分 类 。 

使 用 mgene 函数 来 产生 一 定 类 别 的 样本 向 量 。nngenc 函数 有 四 个 参数 ， 第 一 个 用 于 
指定 类 中 心 的 范围 ,第 二 个 用 于 指定 类 别 的 数 月 ， 第 二 个 用 于 指定 每 “类 的 样本 点 的 数目 ， 
第 四 个 用 于 指定 每 一 类 样本 的 标准 差 。 

在 木 问题 中 ， 我 们 所 指定 类 中 心 范围 为 0 一 1， 类 别 数 目 为 5， 每 一 个 类 列 有 10 个 样 
本 点 ， 每 一 奖 样 本 的 标准 差 为 0.05, 

;01]; 双 限制 类 中 心 的 范围 
和 5 带 定 类 别 数 中 
色 指定 每 一 类 的 点 的 数 上 日 
std_dev = 00s: %% 指定 每 类 的 标准 差 
了 = nngenc(X,clusterspointsstd_dev); 
plot(PGLD PCD; 
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tle( 输 入 向 量 小 
xlabelCp() 
ylabel(P(2) 
赂 8-2 中 显示 了 这 些 输 入 样本 点 的 分 布 情况 。 


输入 样本 疝 量 


1 
pt 


图 8-2 输入 样本 向 量 的 分 布 


从 图 8-2 中 可 以 看 到 ， 这 些 随机 产生 的 样本 向 量 按 我 们 的 设计 分 成 了 五 类 ， 虽 然 不 是 
很 明显 ， 们 还 是 能 够 看 出 米 。 

网 络 的 工作 就 是 对 这 些 己 知 的 分 类 样本 铅 景 进行 学 习 ， 调整 网 络 的 权 值 ， 使 得 以 后 对 
网 络 答 入 向 基 能 够 进行 正 依 的 分 类 。 


82.2 网 络 建立 


使 用 示 数 newe 来 建立 自 组 织 竞争 神经 网 络 ， 由 于 要 区 分 的 类 别 数 日 为 5， 所 以 设置 
网 络 的 神经 元 数 由 也 为 5。 设 置 学 习 速率 为 0.1。 
netcnewetl0 10 1].5.0.1); %% 设 和 神 经 元 数 月 为 5 
面 求 出 网 络 的 初始 权 值 ， 并 在 图 上 绘制 岂 。 
pletP(L.J PCQ,.]"+r: 
w=neLiwi11} 
hold on; 
PlottwCJJwGC2)"oby; 
hold oft; 
title(' 输 入 样本 向 量 及 初始 权 值 ?; 
xlabet(P(D); 
ylabel(P(C2) 
得 到 网 络 初始 权 便 : 
ww= 
0.5000 0.5000 
0.5000 。 0.5000 
0.5000 0.5000 


9 





Li 


0.5000 0.5000 
0.5000 0.5000 
图 8-3 在 同一 幅 图 中 显示 了 输入 样本 向 量 与 网 络 初始 权 值 的 分 布 情况 ， 分 别 用 “+” 
和 “o” 标 记 。 
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输入 样本 癌 晤 及 初始 权 估 


14 一- 一 -一 
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图 8-3 输入 样本 向 量 及 网 络 初始 权 值 


从 MATLAB 命令 行 的 输出 ， 共 及 图 8-3 均 可 看 出 ， 网 络 在 初始 时 将 所 有 权 值 均 设置 
为 05， 这 正好 是 建立 网 络 时 设置 的 输入 向 最 范围 的 中 间 值 。 


8.23 网络 训 练 


直面 根据 样本 向 量 的 分 类 情况 调整 网 络 的 权 值 ， 使 用 train 函数 来 对 网 络 进行 训练 。 
设置 最 大 训练 步 数 为 7。 
nettrainParam.epochs=3; 
net=inittnet); 
met=train(netP) 
对 于 训练 好 以 后 的 网 络 ， 辐 样 可 以 得 到 竞争 层 的 权 值 ， 并 在 图 8-4 中 显示 出 它们 的 分 
布 情况 。 
w=netiw{11 
PiettwC.Dw(C2)voby; 
hold of 
tidleC 输 入 样本 向 量 及 更 新 后 的 权 慎 小 
xlabelCp(D 
ylabel(p(2)7; 
训练 后 的 网 络 竞争 层 权 值 为 : 
ww= 
0.8233 。 0.0627 
0.5501 。 09315 


ee | C0 。 mm 
II 
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0.9951 10.5956 
0.4071 0.9680 
0.4676 0.3557 


与 前 让 一样， 分 别 用 “+” 和 “o” 标 记 出 输入 样本 向 量 和 训练 后 的 网 络 竞争 层 权 值 分 
布 情况 ， 如 网 8-4 所 示 - 


输入 样本 向 量 及 更 新 后 的 权 值 


8 oa 本 o6 0 1 
人 


疼 8-4 训练 后 的 网 络 权 值 分 在 


从 图 8-4 可 以 看 出 ， 经 过 训练 以 后 ， 网 络 的 权 值 得 到 了 调整 。 调 整 后 的 权 值 分 布 在 各 
个 类 的 中 心 位 转 上 。 


8.2.4 ”网络 测试 与 使 用 


网 络 训练 好 以 后 ， 其 权 值 就 回 定 上 来 了 。 以 后 对 于 每 … 个 输入 值 ， 网 络 就 会 输出 相应 
的 分 类 信 。 可 以 利用 这 ”点 米 进行 网 络 的 测试 。 
实际 上 ， 对 于 训练 好 的 网 络 ， 也 正 是 这 样 使 用 它 的 。 对 于 我 们 需要 分 类 的 模式 矢量 ， 
将 其 输入 到 网 络 中 ， 网 络 就 可 以 对 其 分 类 。 
设置 -个 特定 的 点 ， 使 用 sim 函数 来 对 其 进行 分 类 ， 并 在 MATLAB 命令 行 中 得 到 相 
应 的 输出 结果 - 
p= [0.6: 0.81; 
asimCnebp) 
得 到 的 结果 为 : 
a = 
(CD 1 
男 数 sim 的 输出 为 与 竞争 层 对 应 的 -个 稀 玻 扼 阵 。 这 个 结果 指出 了 哪个 神经 元 发 生 
了 响应 ， 这 也 就 反映 了 这 个 输入 局 于 哪 一 个 类 别 。 


8.2.5 小 结 


自 组 织 竞 争 神经 网 络 对 给 定 的 输入 向 量 能 够 进行 分 类 。 如 果 只 需 归 对 输入 向 量 进 行 分 


mm 181 
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类 ， 那 么 自 组 织 觉 争 神经 网 络 就 能 够 很 好 地 完成 。 自 组 织 竞争 神经 网 络 也 能 够 学 习 输入 向 
量 的 分 布 ， 当 然 ， 为 了 将 输入 空间 进行 分 类 ， 这 就 需要 更 多 神经 元 ， 特 别 是 当 输 入 向 量 的 
密度 增 大 时 。 自 组 织 特征 映射 网 络 在 这 一 点 上 的 优势 更 多 ， 下 一 节 我 们 就 来 设计 一 个 二 维 
的 白 组 织 特征 怠 射 神经 网 络 。 

例 程 8-1 是 本 问题 的 MATLAB 程序 代码 。 


例 程 8-1 








名 产生 指定 类 别 的 样本 点 ， 并 在 图 中 绘制 出 
X=[I01;01;  % 限制 类 中 心 的 范围 






clnsters = 9 锡 指定 类 别 数 目 
points 免 指定 每 一 类 的 点 的 数 日 


std_dev= 0.05;  % 每 一 类 的 标准 差 
了 = nngene(X.clusters,points'std_devj; 
Plot(P(G, PC"+r; 

tite( 输 入 样本 向 量 

xlabel(p(1D 7 

aabeiCp(2)7 

部 建 立 网 络 

net=newc([0 1:0 115.0.1); 多 设置 神经 元 数目 为 5 
名 得 到 阅 络 权 值 ， 并 在 图 上 绘制 出 
figure; 

plotP(EL2)P(C.) tr 

WwW=netiw{11 

hold on'; 

Blotw(,Hhw(C,2)voby?; 

hold off; 

title 输 入 样本 向 量 及 初始 权 值 ); 
labei(Cp 人 TD 

ylapelCp(2)7 

igure; 

plotP(L:)PC22)HP 

hold on; 

多 训练 网 络 

nettrainParam.epochs=7; 

met=inittpeb， 

met=traintnet'P); 

饮 得 到 训练 后 的 网 络 权 值 ， 并 在 图 上 绘制 出 
w=aetiwfI]} 

plottw(:1Dw(G:2)vob]; 

hold off; 

tide( 输 入 样本 向 量 及 更 新 后 的 权 值 ); 
xlabel(p(1DJ; 

ahel(p(2) 

a0, 





PS 
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B= [0.6 :0.8]; 
a=simnetp) 





8.3 二 维 自 组 织 特征 映射 网 络 设计 


白 组 织 特征 遇 射 网 络 根据 输入 向 量 在 输入 空间 的 分 布 情况 对 它们 进行 分 类 。 与 日 组 织 
竞争 网 络 不 同 的 是 ， 在 自 组 织 映 射 神经 网 络 中 邻近 的 神经 元 能 够 识别 输入 空 河中 邻近 的 部 
分 。 这 样 ， 白 组 织 特 征 映 射 神经 网 络 不 但 能 够 学 习 输入 的 分 布 情况 《这 一 点 和 白 组 织 范 妇 
神经 网 络 一 样 )， 而 及 可 以 学 习 进 行 训练 的 输入 向 量 的 拓扑 结构 。 

自 组 织 特征 呐 射 网 络 结构 如 图 8-5 所 示 。 























jnput Sef Organizing Map Layer 





na=-lWwWe3-p| 
ai=Ccompettn) 


图 8-5 自 组 织 特征 呐 射 网 络 结构 


K 面 设计 “个 自 组 织 特征 映射 网 络 ， 对 二 维 的 输入 向 量 进行 学 习 ， 使 其 能 够 根据 笨 入 
向 量 的 分 布 ， 相 应 地 在 输入 空间 中 表示 出 不 同 的 区 域 。 


83.1 问题 描述 


已 知 在 -个 矩形 向 量 区 域 里 ， 有 1000 个 二 维 向 量 ， 这 些 向 量 就 是 网 络 的 得 入 翌 本 问 

量 。 首 先 使 用 rands 丽 数 产生 1000 个 这 样 的 二 维 随 机 向 量 。 在 图 8-6 中 显示 了 这 些 一 维 随 
机 向 量 的 分 布 情况 。 

P=rands(2.1000); 

plot(P(L)P(C2.)+D 

title( 初始 随机 样本 点 分 布 洲 

xlabelCP(D 和 

ylabel(P(2)); 


8 了 
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8-6 1000 个 二 维 样本 向 量 


8.3.2 ”网 络 建立 


使 用 具有 30 个 神经 元 的 二 维 映射 网 络 来 对 这 些 输入 向 量 分 类 。 这 个 二 维 喘 射 网 络 的 
神经 元 组 织 结构 为 5SX6， 使 用 默认 的 函数 来 计算 距离 。 我 们 希望 每 一 个 神经 元 对 应 矩形 
中 某 - 个 区 域 产生 响应 ， 邻 近 的 神经 元 对 应 相 邻 的 区 域 。 使 用 函数 newsom 来 建立 白 组 织 
特征 映射 网 络 。 

net=newsomt[O 1; 0 1][5 6J): 

对 这 个 新 建立 的 网 络 ， 观 察 其 初始 值 。 
net=newsora[0 1;0 1]15 6]); 
wwL_init=aetiw{L1} 
figure: 





plosomfwl_initnetlayers{1j.distances) 

在 MATLAB 命令 行 中 可 以 得 到 初始 权 值 矩阵 ， 由 于 该 矩阵 维 数 太 高 ， 限 于 篇 幅 ， 此 
处 不 列 出 。 在 图 8-? 中 ， 每 一 个 神经 元 用 一 个 点 表示 ， 其 坐标 值 为 相应 的 权 值 。 在 初始 状 
态 下 ， 这 些 神经 元 都 拥有 相同 的 权 值 ， 即 为 这 些 向 量 的 中 间 值 。 正 因为 这 样 ， 在 图 8-7 中 
只 显示 了 一 个 点 ， 实 际 上 是 所 有 点 都 在 这 里 重合 了 。 
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图 8-7 初始 权 值 分 布 
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8.3.3 网 络 训 练 


使 用 困 数 train 对 建立 好 的 网 络 进行 训练 。 对 tain 函数 只 需 指定 训练 步 数 和 样本 向 量 ， 
其 余 设置 使 用 默认 值 。 由 于 样本 向 量 有 1000 个 ， 所 以 训练 的 过 程 比较 长 。 分 曾 选 搓 不 网 
的 训练 步 数 ， 观 察 经 过 调整 得 到 的 相应 的 权 值 。 

fori=10:30:100 


nettrainParam epochs=ii 





met=train(netP); 
figure; 
Plotsomnetiw{11],netlayers{i distances} 
end 
在 图 中 绘制 出 训练 后 对 应 每 个 神经 元 的 权 值 ， 这 时 ， 由 于 网 络 已 经 进行 了 训练 ， 就 会 
看 到 ， 它 们 不 再 像 初始 时 那样 重 台 在 一 起 。 
选择 泌 练 步 数 分 别 为 10、40、70、100， 对 网 络 进行 训 练 。 相 应 的 权 值 分 布 情况 分 别 
如 图 8-8 一 图 8-11 所 示 。 
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8-8 ”训练 步 数 为 10 时 的 权 值 分 布 
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图 8-9 训练 步 数 为 40 时 的 权 值 分 布 
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图 8-11 训练 步 数 为 100 时 的 权 值 分 布 


从 图 8-8 一 图 8-11 可 以 看 出 ， 训 练 10 步 以 后 ， 神 经 元 就 已 经 自 组 织 地 分 布 了 ， 每 个 
神经 元 开始 能 够 区 分 输入 空间 中 的 不 同 区 域 。 随 着 训练 步 数 的 增加 ， 神 经 元 的 权 值 分 布 更 























加 合理 ， 但 是 ， 当 步 数 达到 一 定数 目 以 后 ， 这 种 改变 就 让 
练 100 步 的 效果 基本 相当 。 


8.3.4 网络 测试 与 应 用 





F 常 不 明显 了 。 如 训练 70 步 与 训 





网 络 训练 好 以 后 ， 其 权 值 就 固定 下 来 了 。 以 后 对 于 每 一 个 输入 值 ， 网 络 就 会 输出 相应 





的 分 类 值 。 可 以 利用 这 一 点 来 进行 网 络 的 测试 。 
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实际 上 ， 对 于 训练 好 的 网 络 ， 也 正 是 这 样 使 用 它 的 。 对 于 需要 分 类 的 模式 矢量， 将 其 
输入 到 网 络 中 ， 网 络 就 可 以 对 其 分 类 。 
设置 一 个 特定 的 点 ， 使 用 sim 函数 来 对 其 进行 分 类 ， 并 在 MATLAB 命令 行 中 得 到 和 相 


应 的 输出 结果 。 
P= (0.3; 0. 引 ， 
a=simfnetp) 


得 到 的 结果 为 : 


a = 


2.D 


] 


例 程 8-2 是 本 问题 的 MAILAB 程序 代码 。 


例 程 8-2 





锡 随 机 生成 1000 个 二 维 向 量 ， 作 为 样本 ， 并 绘制 出 其 分 布 
P= randsC2.1000):; 

plot(P(L,)P(2.9v+r) 

title( 初始 随机 样本 点 分 布 


Xlabel(P(1)); 
ylabel(P(2)7; 


%% 建 立 网 络 ， 得 到 切 始 权 值 
net=newsom([0 1;0 1],[5 6]) 
wWl_init=netiw[l,1} 


多 绘制 出 初始 权 值 分 布 图 


fgure; 


plotsomtwl_iniunetlayers{1j.distances) 

% 分 别 对 不 同 的 步 长 ， 训 练 网 络 ， 绘 制 出 相应 的 权 值 分 布 图 
fori=10:30:100 

nettrainParam.epochs=i: 

net=train(netPy》; 


figure; 


plotsom(netiw{t,1 jaetlayers{1 } distances) 


end 


多 对 于 训练 好 的 网 络 ， 选 择 特定 的 输入 向 量 ， 得 到 网 络 的 输出 结果 


p=[0.5;0.3]; 
a-0; 
a= sinmnetP) 





8.4 LVQ 模式 分 类 网 络 设计 


学 习 向 量 量 化 网 络 由 两 层 组 成 ， 第 一 层 为 竞争 层 ， 第 二 层 为 线性 层 。 竞争 层 能 够 学 习 
对 输入 向 量 的 分 类 ， 这 与 前 面 的 自 组 织 竞争 网 络 非常 相似 。 线性 层 将 竞争 层 传 来 的 分 类 信 
息 转变 成 使 用 者 所 定义 的 类 别 。 将 竞争 层 学 习 得 到 的 类 称 为 子 类 ， 将 线性 层 学 习 得 到 的 类 


称 为 目标 类 。 





下 面 设计 一 个 学 习 向 量 量化 网 络 ， 根 据 给 定 的 目标 ， 将 输入 向 量 进行 模式 分 类 。 
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8.4.1 问题 描述 


设 输入 为 二 维 向 晤 ， 一 共有 10 个 。 
P=fT3-2-20000H24243; 
0+it-1+2+1-1-2+1- 电 : 

这 些 向 量 属于 的 类 别 定义 为 : 

C=[Illl2222111]: 

将 这 些 类 别 转 换 成 学 习 向 量 量化 网 络 使 用 的 目标 向 量 。 
工 =ind2vec(C) 

用 不 同 的 颜色 ， 绘 制 出 这 些 输入 向 量 。 


plotvec(PC)， 
title( 输 入 二 维 向 量 ) 
xlabelCP(LD7; 
ylabelCP(2))， 
结果 如 多 8-12 所 示 。 
输入 二 维 向 最 
2 一 一 一 - T 一 一 
15 1 
全 
05， 
全 o 
-05| 
加 
本 
车 
RD 


网 8-12 输入 一 维 向 量 


丽 数 plotvec 能 够 根据 其 第 二 个 参数 的 情况 用 不 同 的 颜色 在 同一 幅 图 上 绘制 出 第 一 个 
参数 中 相应 的 向 量 。 这 里 使 用 默认 的 标记 “+”。《 由 于 印刷 关系 ， 此 处 颜色 可 能 不 能 够 准 
确 表示 ， 但 读者 在 MATLAB 中 可 以 得 到 真实 颜色 的 图像 .) 


8.4.2 网 络 建立 


R 面 使 用 函数 newlvq 来 建立 -个 学 习 向 量 量化 神经 网 络 。 
net = newlvqtminmax(P).4,[0.6 0.4].0.D; 
在 这 里 ， 设 置 了 四 个 参数 。 第 一 个 参数 表示 的 是 输入 向 量 的 范围 ， 第 二 个 参数 指定 了 
网 络 隆 含 层 的 神经 元 的 数目 ， 在 这 里 设置 为 4， 第 三 个 参数 设置 为 [0.6 0.4]， 这 意味 着 在 
第 一 层 的 权重 中 ， 有 60%% 的 列 第 -一 行 的 值 为 1，40% 的 列 第 二 行 的 值 为 1， 即 60% 的 列 属 
于 第 一 类 ，40% 的 列 属于 第 二 类 ， 第 四 个 参数 指定 了 学 习 速 率 为 0.1。 学 习 函 数 使 用 默认 值 ， 
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为 learnlvl。 
绘制 出 刚 建立 的 网 络 的 权重 向 量 ， 与 输入 向 量 在 同一 幅 图 中 绘制 出。 分 赣 用 标记 “47 
与 “o” 志 下 输入 向 量 与 权重 向 量 ， 如 网 8-13 所 未。 


a 条 入 以 及 权 理 向量 


PC WI2) 
品 


0 
PDTD) 
闻 8-13 输入 向 最 及 初始 权重 向 量 


plotvec(PC) 

hold on 

丈 1=netiwl1 上 
piotW10.UDWIGL2vow?》 
filef 答 入 以 及 权重 问 量 》 
XlabelCP(UDJ、W(D 站 
yabelCP(C) W(C): 

hold o 丛 


可 以 夏 出 ， 山 于 为 经 过 训练 ， 网 络 的 初始 权重 都 相同 ， 为 一 个 中 间 值 ， 故 在 图 8-13 
中 重合 到 了 -一 个 点 上 。 


8.43 网 络 训练 


使 用 函数 train 训练 网 络 。 设 置 训练 步 数 为 150。 
mettrainParam epochs=150; 
mnetLtrainParam .show=inf: 
met=train(netP.T); 
香 次 在 图 上 绘制 出 输入 向 景 和 训练 后 得 到 的 竞争 层 神经 元 的 权重 向 量 ， 分 别 用 标记 
“+” 利 “o” 表 示 。 
plotvec(PC): 
hold on 
plotvectnetiw1lj vec2indtneclwt2),o7， 


结果 如 图 8-14 所 示 . 
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必 0 f 2 3 
图 8-14 输入 向 量 及 训练 后 的 权重 阿 量 


从 图 8-14 可 以 看 出 ， 经 过 训练 后 ， 竞 争 层 神经 元 的 权重 向 量 分 布 发 生 了 变化 。 这 种 
分 布 显然 是 适合 对 两 类 模式 进行 分 类 的 。 


8.4.4 ”网络 测 试 及 使 用 

















网 络 训练 好 以 后 ， 其 权 值 就 固定 下 来 了 。 以 后 对 于 每 一 个 输入 值 ， 网 络 就 会 输出 相应 
的 分 类 值 。 可 以 利用 这 - -点 来 进行 网 络 的 测试 。 
设置 一 个 特定 的 点 ， 使 用 sim 函数 来 对 其 进行 分 类 ， 并 在 MATLAB 命令 行 中 得 到 相 
应 的 输出 结果 。 
p= [0.8;0.31， 
a= vec2indGsimnetp)》 


得 到 结果 为 : 


a= 





1 

这 说 明 向 量 P 属于 第 了 类， 这 与 事实 是 相 易 合 的 。 

实际 上 ， 对 于 训练 好 的 网 络 ， 也 正 是 这 样 使 用 它 的 。 对 于 我 们 需要 分 类 的 模式 矢量 ， 
将 其 输入 到 网 络 中 ， 网 络 就 可 以 对 其 分 类 。 


8.4.5 结论 





学 习 向 量 量化 网 络 能 够 对 任意 输入 向 量 进行 分 类 ， 不 管 它们 是 不 是 线性 可 分 的 ， 这 一 


元 ， 是 使 得 每 -个 类 有 足够 多 的 竞争 神经 元 。 
例 程 8-3 是 本 问题 的 MATLABS 程序 代码 。 
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例 程 8-3 





多 指定 输入 一 维 向 量 及 其 类 别 
P=[3-2-22 0 0 0 04242+3; 
0+1-] +2+1-1-2+1-1 0]; 
C=Il112222111]; 

名 将 这 些 类 别 转换 成 学 习 向 其 量化 网 络 使 用 的 目标 问 量 
T= ind2vec(C) 

名 用 不 同 的 颜色 ， 绘 制 出 这 些 输入 向 量 
plotvec(P'C)， 

title( 输入 二 维 向 量 小 

xlabei(P(1)); 

ylabel(P(2)); 

名 建立 网 络 

net = newlvq(minmax(P).4.1.6 .410.1; 

名 在 同 - - 幅 风 上 绘制 出 输入 向 重 及 初始 权重 向 其 
皇 gure; 

piotrec(PC) 

bold on 

W1l=netiw{1]; 
plot(WI1(LD,WI10,2)"0ow? 

tilef 输 入 以 及 权重 向 量 

xlabel(CPGD, WO; 

ylabelCP(C2)， W(C2)7; 

hold o 何 

狗 训 练 网 络 ， 并 再 次 绘制 出 权重 向 其 
figure; 

Plotvec(PC): 

hold on; 

DettrainParam .epochs=150: 
mettrainParam,show=nf; 





net=train(tnecPTy; 
piotvec(eetiw{]j "vec2ind(netlwf{2"o9; 
名 对 于 一 个 特定 的 点 ， 得 到 网 络 的 输出 





p= [0.8;0.3] 
a=Yyec2indsimtnetp))} 





DT 


第 9 章 神经 控制 器 结构 分 析 


由 于 分 类 方法 的 不 同 ， 神 经 控制 器 的 结 移 也 就 有 所 不 同 。 本 章 将 简要 介绍 神经 控制 结 
构 的 典型 方案 ， 包 括 NN 学 习 控制 、NN 直接 逆 控 制 、NN 自 适应 控制 、NN 内 模 控 制 、NN 
预测 控制 、NN 最 优 决 策 控制 、NN 再 励 控 制 、CMAC 控制 、 分 级 NN 控制 和 多 层 NN 控 
制 等 。 

本 章 主 要 内 容 包括 : 

和 NN 学 习 控制 
NN 直接 弟 模 型 控制 
NIN 自 适应 控制 
NN 内 模 控制 
NN 预测 控制 
NN 自 适应 判断 控制 
基于 CMAC 的 控制 
多 层 NN 控制 
分 级 NN 控制 





9.1 NN 学 习 控制 


由 于 受 控 系 统 的 动态 特性 是 未 知 的 或 者 仅 有 部 分 屁 已 知 的， 内 此 需要 嬉 找 某 些 支配 系 
统 动 作 和 行为 的 规律 ， 使 得 系统 能 被 有 效 地 控制 。 在 有 些 情况 下 ， 可 能 顺 要 设计 - -种 能 够 
模仿 人 类 作用 的 自动 控制 器 。 基 于 规则 的 专家 控制 和 模糊 控制 是 实现 这 类 控制 的 两 种 方 
法 ， 而 神经 网 络 (NN ) 控制 是 另 一 种 方法 ， 称 它 为 基于 神经 网 络 的 学 习 控制 、 监 督 式 神 
经 控制 或 NN 监督 式 控制 。 图 9-! 给 出 一 个 NN 学 习 控制 的 结构 。 











网 9-1 基 二 神经 网 络 的 监督 式 控制 
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在 图 9-1 中 ,包括 -一 个 导师 《监督 程序 》 和 一 个 可 训练 的 神经 网 络 控制 器 (NNC)。 
控制 器 的 输入 对 应 于 由 人 接收 《收集 ) 的 传 感 输入 信息 ， 而 用 于 训练 的 输出 对 应 于 人 对 系 
统 的 控制 输入 。 

， 实现 NN 监督 式 控制 的 步骤 如 下 : 

《1) 通过 传感器 和 传 感 信息 处 理 ， 调 用 必要 的 和 有 用 的 控制 信息 。 

〈2) 构造 神经 网 络 ， 选 择 NN 类 型 、 结 构 参数 和 学 习 算法 等 。 

(3) 训练 NN 控制 器 ， 实 现 输入 和 输出 间 的 映射 ， 以 便 进行 正确 的 控制 。 在 训练 过 
程 中 ， 可 采用 线性 律 、 反 馈线 性 化 或 解 灶 变换 的 非 线 性 反馈 作为 导师 〈 监 督 程 序 ) 来 训练 
NN 控制 器 。 

NIN 监督 式 控制 已 被 用 于 标准 的 倒 摆 小 车 控制 系统 。 


9.2 NN 直接 逆 模 型 控制 


顾名思义 ，NN 直接 逆 控 制 采用 受 控 系统 的 一 个 道 模型 ， 它 与 受 控 系统 串 接 以 便 使 系 
统 在 期 望 响 应 〈 网 络 和 输入) 与 受 控 系统 输出 间 得 到 一 个 相同 的 映射 。 因 此 ， 该 网 络 《NN) 
直接 作为 前 馈 控制 器 ， 而 且 受 榨 系 统 的 输出 等 于 期 望 输出 。 本 控制 方案 已 用 于 机 器 人 控制 ， 
即 在 Miller 开发 的 CMAC 网 络 中 应 用 直接 逆 控 制 来 提高 PUMA 机 器 人 操作 手 〈 机 械 手 > 
的 跟踪 精度 。 这 种 方法 在 很 大 程度 上 依赖 于 作为 控制 器 的 逆 模 型 的 精确 程度 。 由 于 不 存在 
反馈 ， 因 此 本 方法 的 鲁 棒 性 不 足 。 闭 模型 参数 可 通过 在 线 学 习 调整 ， 以 期 把 受 控 系统 的 鲁 
棒 性 提高 至 一 定 程度 。 

图 9.2 给 出 NN 直接 逆 控 制 的 两 种 结构 方案 。 在 图 9-2 (a) 中 ， 网 络 NN1 和 NN2 具 
有 相同 的 逆 模 型 网 络 结构 ， 而 且 采 用 同样 的 学 习 算法 。 图 9 2 (b) 为 NN 直接 逆 控 制 的 另 
- -种 结构 方案 ， 图 中 采用 -个 评价 函数 〈(EF)。 


0 四 ur 7 人 





















人 3a) 人 ) 


图 9-2 NN 直接 道 控制 


9.3 _NN 自 适 应 控制 


与 常规 自 适 应 控制 一 样 ，NN 自 适 应 控制 也 分 为 两 类 ， 即 自 校正 控制 〈《STC) 和 模型 


aaaemoemmrana 94 em 
PT 
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参考 自 适 应 控制 (MRAC )。STC 和 MRAC 之 问 的 美 别 在 于 : STC 根据 受 控 系 统 的 正和 或 
逆 模型 辩 识 结果 直接 调节 控制 器 的 内 部 参数 , 以 期 能 够 满足 系统 的 给 定性 能 指标 ;在 MRAC 
中 ， 闭 环 摔 制 系统 的 期 望 性 能 足 庄 一 个 稳定 的 参考 模型 撒 述 的 ， 而 该 模型 又 是 由 输入 一 输 
出 对 {r(D,y<D} 确 定 的 。 本 控制 系统 的 日 标 在 于 使 受 控 装置 的 输入 y(D 与 参考 异型 的 输出 渐 
近 邮 匹配 ， 即 : 





iml>r- yl<。 
式 中 ，e 为 -指定 常数 。 
9.3.1 NN 自 校 下 控制 (STC ) 


基 十 NN 的 STC 有 了 两 种 类 型 ， 吉 接 STC 和 间接 STC。 

1，NN 直接 自 校正 控制 

该 控制 系统 由 一 个 常规 控制 器 和 一 个 具有 离线 辨识 能 力 的 识别 器 组 成 ;后 者 其 有 很 高 
的 建 民 精 度 。NN 直接 自 校正 控制 的 结构 基于 上 与 让 接 逆 控 制 相 同 。 

2，NN 间接 告 校 正 控 制 

本 控制 系统 由 一 个 NN 控制 器 和 :个 能 够 在 线 修正 的 NN 识别 器 组 成 ， 图 9-3 表示 出 
NN 问 接 STC 的 结构 。 














图 9.3 NN 间接 自 校正 控制 
-- 般 ， 我 们 假设 受 控 对 象 装置 ) 为 如 下 式 所 示 的 单 变量 非 线性 系统 


一 (ODSCOD)D 


在 上 式 中 ， 7Cp) 和 8(Cy) 为 提 线 性 函数 。 令 疡 36) 和 8 分 别 代表 FCs) 和 
&(ys) 的 估计 值 。 如 果 F(y) 和 8(x) 是 由 神经 网 络 离线 辩 识 的 ， 那 么 能 够 得 到 足够 志 


似 精度 的 放 (y ) 和 8(》，) ， 而 且 可 以 直接 给 出 常规 榨 制 委 


下 二 [yuan -ooD11809 
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式 中 ，yant 为 在 〈 女 +1)》 时刻 的 期 望 输出 。 


9.3.2”NN 模型 参考 自 适 应 控制 


基于 NN 的 MRAC 也 分 为 两 类 ， 即 NN 直接 MARC 和 NN 间接 MRAC- 

1，NN 直接 模型 参考 自 适应 控制 

从 图 9 4 所 示 的 结构 可 知 ， 直 接 MRAC 神经 网 络 控制 内 力 赂 维持 受 对象 输 出 与 参考 
模型 输出 间 的 差 e .人 (的 = y(D) 一 咕 (9 一 ， 由 于 反 向 传播 需要 知道 受 控 对 象 的 数学 模 
型 ， 因 而 该 NN 控制 器 的 学 习 与 修正 已 遇 到 许多 问题 。 














图 9-4 NN 让 接 模型 参考 自 适 应 控制 


2，NN 间接 模型 参考 自 适应 控制 

该 控制 系统 结构 如 图 9-5 所 示 ， 在 图 中 ，NN 识别 器 (CNND) 首先 离线 办 识 受 控 对 象 
的 前 馈 模 型 ， 然 后 由 ez 进行 在 线 学 习 与 修正 。 显 然 ，NN1 能 提供 误差 ed 成 者 其 变化 率 
的 反 向 传 播 。 

















图 9.5_NN 问 接 模型 参考 自 适 点 控制 
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9.4 _NN 内 模 控制 


在 常规 内 模 控 制 (IMC) 中 ， 受 控 系统 的 正和 逆 模 型 被 用 做 反馈 回路 具 的 单元 ，IMC 
经 全 面 检验 ， 座 明 其 不 仅 可 用 于 重 棱 性 和 稳定 性 分 析 ， 而 且 是 一 种 新 的 和 重要 的 非 线性 系 
统 控制 方法 。 基 于 NN 的 内 模 控 制 的 结构 图 示 于 图 9.6， 其 中 ， 系 统 模型 (NN2) 与 实际 系统 
并 行 设 置 。 反 馈 信 号 山系 统 输出 与 模型 输出 间 的 差 得 到 ， 而 且 由 NN1《 在 正 向 榨 制 通道 
工 -个 具有 道 模型 的 NN 控制 器 》 进行 处 理 ，NN1 控制 器 应 当 与 系统 的 逆 有 关 。 








加 9-6 NN 内 模 控制 


在 图 9-6 中 ，NN2 也 是 基 寺 神经 网 络 的 但 具有 系统 的 正 向 模型 。 该 图 中 的 滤波 器 通常 
为 一 全线 性 滤波 器 ， 而 且 可 被 设计 满足 必要 的 鲁 棒 性 和 闭环 系统 跟踪 响应 。 


9.5_NN 预测 控制 
预测 控制 必 一 种 基于 模型 的 控制 , 它 是 20 世纪 70 年 代 发 展 起 来 的 一 种 新 的 控制 算法 ， 


只 有 预测 模型 、 液 动 优化 和 反馈 校正 等 特点 。 已 经 证 明 本 控制 方法 对 于 非 线性 系统 能 够 产 
生 有 希望 的 稳定 性 。 阅 9-7 表示 NN 预测 控制 的 ” -种 结构 方案 。 

















图 9-7 NN 预测 控制 


在 图 9-7 由 ， 神 经 网 络 预测 器 NNP 为 -个 神经 网 络 模型 ，NLO 为 一 个 莫 线 性 优化 器 。 
NNP 预测 受 控 对 象 在 - - 定 范 于 内 的 未 来 响应 ， 
HE=NNI+TEeeAN2 
式 中 ，N 和 AN 分 别 叫做 输出 预测 的 最 小 和 最 大 级 别 ， 足 规定 跟踪 误差 和 控制 增 草 的 


ee 【197 。 wwepmmsaae 
er 
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如 果 在 时 刻 〈 上 十 “了 )》 的 预测 误差 定义 为 : 


e+ 亡 =r+ 甩 -+ 刺 ) 
那么 非 线性 优化 器 NLO 将 选择 控制 信号 wb 使 二 次 性 能 判 据 .7 为 最 小 ; 


RN 思 
J= ed++ 六 Nad+jD 
Ar 1 
式 中 ，DW 时 广 门 = MEHF 站 -IF2》， 而 为 控制 权 值 。 
基于 神经 网 络 的 预测 控制 算法 步骤 如 下 ; 
(1) 计算 期 望 的 林 来 输出 序列 。 
TH =NVHeo 
《2) 借 曲 NN 预测 模型 ， 产 生 预 测 输出 。 
HiJJNUVIHE 2 
(3) 计算 项 测 误 苍 。 
ed = =NN+TL AN 
《4) 求 性 能 判 据 了 的 最 小 值 ， 获 得 最 优 控制 序列 。 
ufrH),j=0. 1 2 … N; 
《5) 采用 utD 作 为 第 一 个 拧 制 信号 ， 然 后 转 至 第 (D 步 。 
值得 说 明 的 是 ，NLO 实际 上 为 一 种 最 优 算法 ， 因 此 ， 可 用 动态 反馈 网 络 来 代替 由 本 
算法 实现 的 NLO 和 由 前 锁 神 经 网 络 构成 的 NNP。 


9.6_NN 自 适 应 判断 控制 


无 论 采 用 何 种 神经 网 络 控制 结构 ， 所 有 控制 方法 都 有 -个 共同 点 ， 即 必须 提供 受 控 对 
象 的 期 望 输入 。 但 是 ， 当 系统 模型 未 知 或 部 分 未 知 时 ， 就 很 难 提供 这 种 期 望 输入 。NN 自 
适应 基 断 控制 或 强化 控制 是 由 Barto 等 提出 ， 并 由 Anderson 发 展 的 ， 它 应 用 强化 学 习 的 机 
理 。 这 种 控制 系统 通常 由 两 个 网 络 组 成 ， 即 自 适应 判断 网 络 AJN 和 控制 选择 网 络 CSN， 
如 艾 9-8 所 示 。 

在 本 控制 系统 中 ，AJN 相当 于 强化 学 习 需 要 的 “教师 ” 它 起 到 两 种 作用 : (1) 通过 
不 断 的 奖 罚 强化 学 习 ， 使 AJN 逐渐 训练 为 - -个 部 练 的 教师 (2 经 过 学 习 后 ， 根据 受 控 
系统 的 当前 状态 和 外 部 强化 反馈 信号 r(D，AJN 产生 -个 强化 信号 ， 然后 提供 内 部 强化 信 
号 ， 以 便 能 够 判断 当前 控制 作用 的 效果 。CSN 相当 于 多 层 前 镇 神经 网 络 控制 器 ， 它 在 内 
部 强化 信号 的 引导 下 进行 学 习 。 通 过 学 习 ，CSN 根据 系统 编码 后 的 状态 ， 选择 下 一 个 控 
制作 用 。 


aas 1 08 。 一 一 
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图 9-8 NN 自 适 应 判 晰 控制 





9.7 基于 CMASC 的 控 甫 


全 





CMAC 是 由 Albus 开发 的 ， 是 近 咎 米 获得 应 用 的 几 种 主要 神经 以 制 器 之 一 ， 把 CMAC 
用 于 控制 有 两 种 方案 。 第 一 种 方案 的 结构 如 图 9-9 所 示 。 在 该 控制 系统 中 ， 指 令 信号 反馈 
信号 均 用 做 CMAC 控制 器 的 和 输入。 控制 器 输出 直接 送 至 受 控 装 固 〈 对 象 )， 必 须 提供 神经 
网 络 控制 器 的 期 望 输出 。 控 制 器 的 训练 是 以 期 望 输出 和 控制 器 实际 输出 癌 的 差别 为 基础 
的 。 系 统 工作 分 两 阶段 进行 ， 第 一 阶段 为 训练 控制 器 ， 当 CMAC 接收 到 指令 和 反馈 信号 
时 ， 它 产生 一 个 输出 ， 此 输出 与 期 望 输出 进行 比较 ， 如果 两 者 存在 差别 ， 那 么 调整 权 值 以 
消除 该 差别 。 经 过 这 … 阶 段 的 葛 争 ，CMAC 已 经 学 会 如 何 根据 给 定 指令 和 所 测 反 馈 信 和 号 
产生 合适 的 输出 ， 用 于 挤 制 受 控 对 象 。 第 一 阶段 为 控制 ， 当 需要 的 控制 接 所 所 训练 的 控制 
要 求 时 ，CMAC 就 能 够 很 好 地 工作 。 这 商 个 阶段 工作 的 完成 都 无 需 分 析 装 轩 的 动力 学 和 
求解 复杂 的 方程 式 。 不 过 ， 在 训练 阶段 ， 本 方案 要 求 期 望 的 装置 输入 是 已 知 的 - 








则 断 权 值 














图 9-9 基于 CMAC 的 控制 (D 


第 二 种 控制 方案 图 示 如 岁 9-10 所 未 。 在 本 方案 中 ， 参 考 输出 方 忒 在 每 个 控制 周期 产 
生 一 个 期 望 输 出 。 该 期 望 输出 被 送 至 CMAC 模块 ， 提 供 一 个 信号 作为 对 网 定 增 瘟 常规 偏 
差 反 馈 控制 器 控制 信 呈 的 补充 。 在 每 个 控制 周期 之 末 ， 执 行 一 步 训练 。 在 前 -个 控制 周 其 
观测 到 的 装置 输出 用 做 CMAC 模 决 的 输入 。 用 计算 的 装置 输入 与 实际 输入 & 之 问 的 美 来 
计算 权 值 判断 。 当 CMAC 跟随 连续 控制 周期 不 断 训练 时 ，CMAC 胃 数 在 特定 的 输入 襟 
域内 形成 一 个 近似 的 装置 道 传递 昂 数 ， 如 果 本 来 的 期 望 输出 在 域内 相似 于 前 面 预测 的 输 
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出 ， 闭 么 ，CMAC 的 输出 也 会 与 所 需 的 装置 实际 输入 相似 。 由 于 上 述 结果 ， 输 出 误差 将 
很 小 ， 而 芋 CMAC 将 接替 固定 增益 常规 控制 器 。 

根据 上 述说 明 ， 方 案 I 为 一 个 闭环 控制 系统 ， 因 为 除了 指令 变量 外 ， 反 馈 变量 也 用 做 
CMAC 模块 的 输入 ， 加 以 编码 ， 使 得 装置 输出 的 任何 变化 都 能 够 引起 装置 接收 到 的 输入 
的 变化 。 方 案 I 中 权 值 判断 是 以 控制 器 期 望 输出 与 控制 器 实际 输出 间 的 误差 〈 而 不 是 装置 
的 期 望 输出 与 装 团 的 实际 输出 闻 的 误差 ) 为 基础 的 。 如 已 述 及 ， 这 就 要 求 设计 者 指定 期 户 
的 控制 器 输出 ， 并 将 出 现 问题 ， 办 为 设计 者 通常 只 知道 期 望 的 装置 输出 。 方 案 工 中 的 训练 
可 看 做 是 对 一 个 适当 的 反馈 控制 器 的 辨识 。 在 方案 口中 ， 借 助 于 常规 国定 增益 反馈 控制 器 . 
CMAC 异 块 用 于 学 习 逆 传 递 函数 。 经 训练 后 ，CMAC 成 为 主 控制 器 。 本 方案 中 ， 控 制 与 
学 习 同 步 进行 。 木 控制 方案 的 缺点 是 需要 为 受 控 装 置 设 计 - -个 沿 定 增益 控制 器 。 





























图 9-10 基于 CAMC 的 控制 《I7 


9.8 多 层 NN 控制 


多 层 神经 网 络 榨 制 器 基本 上 是 一 种 前 镇 控 制 器 。 让 我 们 考虑 图 9-11 所 示 的 一 个 普 


的 多 层 神 经 控制 系统 。 
CI 










常规 榨 制 
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图 9-11 多 屋 NN 控制 的 一 般 结构 


该 系统 存在 两 个 控制 作用 : 前 馈 控 制 和 常规 馈 控 制 。 前 馈 控 制 由 神经 网 络 实现 前 馈 
部 分 的 训练 日 标 在 于 使 期 望 输出 与 实际 装置 答 出 间 的 偏差 为 最 小 。 该 误差 作为 反馈 控制 器 
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的 输入 。 反 馈 作用 与 前 镇 作用 被 分 别 考 虑 ， 特 别 关 注 前 馈 控 制 器 的 训练 而 不 考虑 反馈 控制 
的 存在 。 已 提出 多 层 NN 控制 器 的 三 种 结构 : 间接 结构 、 通 用 结构 和 专用 结构 。 
1. 间接 学 习 结构 

图 9-12 所 示 的 间接 多 层 NN 控制 结构 含有 两 个 同样 的 神经 网 络 ， 用 于 训练 。 在 本 结 
构 中 ， 每 个 网 络 作为 一 个 道 动态 辨识 器 。 训 练 的 目标 是 要 从 期 望 响 应 d 中 找到 一 个 合适 的 
装置 控制 wx 。 以 网 络 I 和 网 络 工 间 的 差 为 基础 来 调整 权 值 ， 使 得 误差 e 为 最 小 ， 如 果 能 够 
训练 网 络 ! 使 得 了 = dg ， 滥 么 ，z= 。 不 过 ， 这 并 不 能 保证 期 望 输 出 g 与 实际 箱 出 了 之 
间 的 差别 为 最 小 。 





图 9-12 问 接 学 习 结构 的 多 层 NN 控制 


2. 通用 学 习 结构 

图 9-13 绘 出 多 层 NIN 控制 的 通用 学 习 结构 ， 它 使 图 中 的 一 4 一 8 为 最 小 。 访 网络 被 
训练 使 得 装置 输入 “与 网 络 输出 峰 问 的 差别 为 最 小 。 在 训练 时 , "应 当 处 在 这 样 的 范围 内 
使 得 y 复 盖 期 望 输出 4 。 训 练 之 后 ， 如 果 某 -期望 笨 出 q 被 送 至 网 络 ， 那 么 该 网 络 就 能 铝 
为 受 控 装 置 提 供 -个 合适 的 ，。 本 结构 的 局 限 性 尾 : - - 般 无 法 知道 哪 一 个 上 对 应 于 期 望 输 
出 辽 ， 因 而 网 络 不 得 不 在 的 大 范围 内 进行 训练 ， 以 求 经 过 学 习 能 够 使 装 摆 和 输 山 7 包括 期 
望 值 d 。 








图 9-13 通用 学 习 结 构 图 9-I4 专用 学 习 结 构 











3. 专用 学 习 结 构 

多 层 NN 控制 的 专用 学 习 结 构 如 图 9-14 所 示 。 当 神经 网 络 训练 时 ， 期 望 输出 4 是 该 网 
络 的 输入 。 采 用 误差 反 向 传播 方法 ， 经 过 训练 使 期 望 输出 4 与 装 壮 的 实际 输出 了 之 癌 的 益 
别 e 为 最 小 。 因 此 ， 不 仅 能 够 期 望 得 刘 良好 的 装 四 输出 ， 而 且 训 练 能 够 在 期 望 笨 出 范围 内 
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执行 ， 而 不 需要 知道 装置 的 合适 输入 范围 。 不 过 ， 本 结构 中 把 装置 当做 网 络 的 一 层 来 处 理 。 
为 了 训练 该 网 络 ， 或 者 必须 知道 装置 的 动力 学 模型 ， 或 者 必须 进行 某 种 近似 处 理 。 对 多 层 
神经 网 络 控 制 器 的 训练 是 由 误差 反 向 传播 训练 算法 来 完成 的 。 该 误差 可 为 期 望 输出 与 实际 
装置 输出 问 的 莽 ， 也 这 为 校正 装置 输入 与 由 神经 疝 络 计算 得 到 的 输入 之 间 的 差 。 


9.9 分 级 NN 控制 


基于 神经 网 络 的 分 级 控制 模型 如 图 9-15 所 示 。 
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9-15 “分 级 昼 经 网 络 控制 器 


在 图 9.15 中 ， cd 为 受 控 装置 的 期 望 输出 ， 2 为 装置 的 控制 输入 ， 为 装置 的 实际 输 
出 ，w 和 y 为 由 神经 网 络 给 出 的 装置 计算 输入 与 输出 。 该 系统 可 视 为 由 三 部 分 组 成 。 第 一 
部 分 为 一 个 常规 外 反馈 回路 。 反 馈 控 制 是 以 期 望 装置 输出 “与 由 传感器 测量 的 实际 装置 输 
出 了 间 的 误差 e 为 基础 的 ， 即 以 e=(d-y) 为 基础 的 。 通 常 ， 常 规 外 反馈 控制 器 为 一 个 比例 
微分 控制 器 。 

第 “部 分 是 与 神经 网 络 5 连 接 的 通道 ， 该 网 络 为 一 个 受 控 对 象 的 动力 学 内 模型 ， 用 于 
监控 装置 的 输入 和 输出 了， 且 学 习 受 控 对 象 的 动力 学 特性 。 当 接收 到 装 蛋 的 输入 避 时 ， 
经 过 训练 ， 神 经 网 络 /1 就 能 够 提供 -- 个 近似 的 装 署 给 出 了 。 从 这 个 意义 上 看 ， 这 部 分 起 到 
系统 动态 特性 辨识 器 的 作用 。 以 误差 d 一 Y 为 基础 ， 这 部 分 提供 一 个 比 外 反馈 回路 快 得 多 
的 内 反馈 回路 ， 因 为 外 反馈 回路 - 般 在 反馈 通道 上 有 传 感 汪 后 作用 。 

系统 的 第 三 部 分 是 神经 网 络 工 ， 它 监控 期 望 输出 5 和 装置 输入 口 。 这 个 神经 网 络 学 习 
建立 装置 的 内 动力 学 模型 ， 当 它 收 到 期 望 输出 指令 g 时 ， 经 过 训练 ， 它 能 够 产生 一 个 合适 
的 装置 输入 分 量 岂 。 该 受 控 对 象 的 分 级 神经 网 络 模型 按 下 列 过 程 运作 。 传 感 反 馈 主要 在 学 
习 阶 段 起 作用 ， 此 回路 据 供 -一 个 常规 反馈 信号 去 控制 装置 。 由 于 传 感 延 时 作用 和 较 小 的 可 
多 许 控制 增益 ， 因 而 系统 的 响应 较 慢 ， 从 而 腿 制 了 学 习 阶 段 的 速度 。 在 学 习 阶段 ， 神 经 网 
络 工学 习 系统 动力 学 特性 ， 而 神经 网 络 工学 习 道 动力 学 特性 。 随 着 学 习 的 进行 ， 内 反馈 逐 
渐 接替 外 反馈 的 作用 ， 成 为 主 控 制 器 。 然 后 ， 当 学 习 进一步 进行 时 ， 该 道 动力 学 部 分 将 取 
代 内 反馈 控制 。 最 后 结果 是 ， 该 装置 主要 由 前 锁 控 制 器 进行 控制 ， 因 为 装置 的 输出 误差 与 
内 反馈 一 起 儿 乎 不 复 存 在 ， 从 而 提供 处 理 随机 扰动 的 快速 控制 。 在 上 述 过 程 中 ， 控 制 与 学 
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习 同 步 执行 。 两 个 神经 网 络 起 到 辩 识 器 的 作用 ， 其 中 一 个 用 于 辨识 压 置 动力 学 特性 ， 另 
个 用 于 辨识 逆 动 力学 特性 。 

很 重要 的 - -点 是 ， 可 把 分 级 神经 网 络 横 型 控制 系统 分 为 两 个 系统 ， 即 基 十 正 闪 动力 学 
辨识 器 的 系统 《〈 见 图 9-16)》 和 基于 道 向 动力 学 辨识 器 的 系统 ( 见 图 9-17)， 可 以 单独 应 用 
它 信 。 























， 
生 一 中 一 入 





图 9-17 基于 北向 动力 学 因 识 器 的 控制 系统 


总 之 ， 基 于 分 级 神经 经 网 络 模 邓 的 控制 系统 具有 下 列 特 点 : 

@。 泸 系 统 含有 果 个 辨识 器， 一 个 用 寺 状 识 装 置 的 动力 学 特性 ， 另 - -个 用 于 辨识 装 次 
的 道 动力 学 特性 。 

@ 存在 一 个 上 反馈 回路 ， 它 对 训练 神经 网 络 是 很 重要 的 。 

@。 当 训练 进行 时 ， 道 动力 学 部 分 变 为 主 控制 器 

生 林 控 抽 的 最 后 效果 与 前 镇 控 制 的 效果 相似 。 
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第 10 章 ， 神 经 网 络 控制 理论 
及 应 用 设计 


神经 网 络 在 系统 辨识 和 动态 系统 控制 中 已 经 得 到 了 莫 常 成 功 的 使 用 。 由 于 多 层 感 知 器 
网 络 具 有 全 局 逼近 能 力 ， 使 得 其 在 对 非 线性 系统 建 模 和 对 一 般 情 况 下 的 非 线性 控制 器 的 实 
现 等 方面 应 用 得 比较 普遍 。 本 章 将 介绍 三 种 比较 普遍 的 神经 网 络 结构 ， 它 们 常用 于 据 测 和 
控制 ， 并 且 在 MATLAB 6.5 对 应 的 神经 网 络 工具 箱 由 给 出 了 实现 。 这 -种 神经 网 络 结构 分 
别 是 

@ ”模型 预测 控制 

昌 NARMA-L2【〔 反 馈线 性 化 ) 控制 

@ 模型 参考 控制 

使 用 神经 网 络 进行 控制 时 ， 通 常 有 两 个 步骤 : 系统 辨识 和 控制 设计 、 

在 系统 辨识 阶段 ， 主要 任务 是 对 需要 控制 的 系统 建立 神经 网 络 模型 ， 在 控制 设计 阶段 ， 
主要 使 用 神经 网 络 模型 来 设计 《训练 ) 控制 器 。 在 本 章 将 要 介绍 的 二 种 控制 网 络 结构 中 ， 
系统 辨识 阶段 是 相同 的 ， 而 控制 设计 阶段 则 各 不 相同 。 

对 于 模型 预测 控制 ， 系 统 模型 用 十 预测 系统 未 来 的 行为 ， 并 且 找到 最 优 的 算法 ， 用 才 
选择 控制 输入 ， 以 优化 未 来 的 性 能 。 

对 于 NARMA-L2《〔 反 馈线 性 化 ) 控制 ， 控 制 器 仅仅 是 将 系统 模型 进行 重 整 . 

对 十 模 型 参考 控制 ， 控 制 器 是 - -个 神经 网 络 ， 它 被 训练 以 用 于 控制 系统 ， 使 得 系统 跟 
踪 - -个 参考 模型 。 这 个 神经 网 络 系统 横 型 在 控制 器 训练 中 起 辅 贡 作 用 。 

本 章 主要 内 容 ， 
模型 预测 控制 理论 
模型 预测 控制 实例 分 析 
反馈 线性 化 控制 理论 
NARMA-L2 (反锁 线性 化 ) 控制 实例 分 析 
模型 参考 控制 
模型 参考 控制 实例 分 析 


总 结 
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10.1 ”模型 预测 控制 理论 


神经 网 络 巴 测控 制 器 使 用 非 线性 神经 网 络 模型 来 预测 未 来 模型 性 能 。 控 制 器 计算 控制 
输入 ， 而 控制 输入 在 未 来 - 段 指定 的 时 间 内 将 最 优化 模型 性 能 。 模 型 预测 第 “ 步 是 要 建立 





4_MATLAB 6.5 辅助 神 经 网 络 分 析 与 设计 
神经 网 络 模型 《系统 辩 识 )， 第 一 步 ， 使 用 控制 器 来 预测 未 来 神经 网 络 性 能 。 
10.1.1 “系统 辨识 


模型 预测 的 第 一 步 就 是 训练 神经 网 络 来 表示 网 络 的 动态 机 制 。 模 型 输出 与 神经 网 络 输 
出 之 间 的 预测 误差 ， 用 米 作 为 神经 网 络 的 训练 信号 ， 该 过 程 用 图 10-1 来 表示 。 
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图 10-1 训练 神经 网 络 


神经 网 络 模型 利用 当前 输入 和 当前 模型 输出 来 预测 网 络 未 来 输出 值 。 神 经 网 络 模型 结 
构 如 图 10-2 所 示 ， 该 网 络 豆 以 以 批量 方式 进行 在 线 训练 。 

















nput ELayer 1 工会 ySF 人 
一 一 六 
Jp atT+ 1 








网 10-2 ”神经 网 络 模型 结构 


10.1.2 ”模型 预测 


模型 预测 方法 是 基于 水 平 后 退 方法 的 [SoHa96]， 神 经 网 络 模型 预测 在 指定 时 间 内 预测 
模型 响应 。 预 测 使 用 数字 最 优化 程序 来 往 定 控制 信号 ， 道 过 最 优化 如 下 的 性 能 准则 函数 : 


J = 了 (OCTD-+PDP+TPYG+H-D-aC+72 





在 上 式 中 ，Ni, N:，,N。 定 义 范围 ， 在 该 范围 内 计算 跟踪 误差 和 控制 墙 益 。 变 量 & 
是 实验 控制 信 叶 ，y 旦 期 望 响应 ， ?w 是 网 络 模型 响应 ， 户 值 反映 了 控制 增益 的 平方 和 的 
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分 布 。 
图 10-3 描述 了 模型 预测 控制 的 过 程 。 控 制 器 由 神经 网 络 模型 和 最 优化 方块 组 成 ， 最 
优化 方块 可 确定 共 〈 通 过 最 小 化 了 )， 最 优 芋 值 作 为 神经 网 络 模型 的 输入 ， 控 制 器 方块 可 
在 simulink 实现 。 



































六 10-3 ”模型 预测 控制 的 过 程 


10.2 ”模型 预测 控制 实例 分 析 


在 MATLAB 6.5 神经 网 络 工具 箱 中 实现 的 神经 网 络 预测 控制 器 使 用 了 一 个 非 线性 系统 
模型 ， 用 于 预测 系统 未 来 的 性 能 。 接 下 来 这 个 控制 器 将 计算 控制 输入 ， 用 于 在 某 个 未 来 的 
时 间 区 间 里 优化 系统 的 性 能 。 进 行 模型 预测 控制 首先 要 建立 系统 的 模型 ， 然 后 使 用 控制 器 
来 预测 未 来 的 性 能 。 下 面 将 结合 MATLAB 6.5 经 网 络 工具 箱 中 提供 的 -个 演示 实例 ， 介 绍 
其 在 SIMULINK 中 的 实现 过 程 。 


10.2.1 ”问题 的 描述 





要 讨论 的 问题 基于 一 个 搅拌 器 〈CSTR )， 如 图 10-4 所 示 。 








儿 10-4 搅拌 器 


对 于 这 个 系统 ， 其 动力 学 模型 为 : 
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dR 
人 ) -DO+OD 02 
dc 全 芭 介 oa 大 CD 
一 和 一 =(Cu 一 CH+HCo -Co 
di Coco RD 0 RD (+ACo(D) 


其 中 RD 为 流 面 高 度 ， CyfD) 为 产品 输出 浓度 ， 册 人 为 浓缩 滚 C， 的 输入 流速 ， 





We (D) 为 竹 释 流 Ci 的 输入 流速 。 输 入 浓度 设 定 为 : Cu = 24.9，C = 0.1。 消 耗 常量 设 
宙 为 : 总 =1， 马 = 工 。 
控制 的 目标 是 通过 调节 流速 wa (好 来 保持 产品 浓度 。 为 了 简化 演示 过 程 ， 不 荡 设 


Wi(D =0.1 。 在 本 例 中 不 考虑 控制 液 面 高 度 灵 D) 。 


10.2.2 ”建立 模型 


在 MATLAB 6.5 神经 网 络 工 具 箱 NN Toolbox 4.0.2 中 提供 了 这 个 演示 实例 。 只 需 在 
MATLAB 命令 行 中 输入 predcstr， 就 会 自动 地 调用 SIMULINK， 并 且 产 生 如 图 10-5 所 示 
的 模型 窗口 。 神 经 网 络 预测 控制 器 模块 己 经 被 放 晋 在 这 个 模型 中 。 
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痢 10-5 模型 窗 门 


图 10-5 中 的 PlantCContinuous Stirred Tank Reactor) 模块 包含 了 系统 模型 的 SIMULINK 
模型 。 双 击 这 个 模块 ， 可 以 得到 其 具体 的 SIMULINK 实现 ， 如 图 10-6 所 示 。 
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图 10-6 搅拌 器 系统 的 SIMULINK 模型 


关于 这 个 控制 系统 的 模型 描述 不 是 本 书 的 重点 ， 此 处 将 不 加 以 深入 讨论 ， 有 兴趣 的 读 
者 可 以 参考 MATAB 控制 系统 设计 的 相关 书籍 。 

图 10-5 中 有 一 个 NN Predictive Controller 模块 ， 这 个 模块 是 在 神经 网 络 工具 箱 中 生成 
并 复制 过 来 的 。 这 个 模块 的 Control Signal 端 连接 到 系统 模型 的 输入 端 ， 系 统 模型 的 输出 
端 连 接 到 模块 的 Plant Output 端 ， 参 考 信号 连接 到 模块 的 Reference 端 。 

双击 NN Predictive Controller 模块 ， 将 会 产生 一 个 新 的 窗口 ， 如 图 10-7 所 示 。 这 个 窗 


口 用 于 设计 模型 预测 控制 器 ， 调 整 相关 的 参数 。 在 这 个 窗口 中 ， 我 们 可 以 改变 Na 和 AN。 


的 值 。 另 外 ， 权 重 参数 p 也 可 以 在 这 里 调整 。 参 数 w 也 能 被 调整 ， 它 月 于 控制 最 优 性 
它 决定 了 对 于 一 个 成 功 的 优化 步骤 ， 在 性 能 上 需要 多 大 的 阻尼 。 在 这 个 窗口 中 ， 还 可 以 选 
择 使 用 哪 种 线性 最 小 化 程序 ， 用 于 优化 算法 。 另 外 ， 还 可 以 设 定 在 每 个 采样 时 间 里 进行 多 









































少 次 选 代 优化 算法 。 
忆 x 
File 旦 ndaoy Beyp 大 化 
Neural Network Predictive Control 
ER 7 Conwof Weighing Factor(pP) 
ComalHorrogul 站 ER 0 
MinmirstonPouine [schosc 司 ET 可 [本 
Padagaam | IO 旧 Goa| Eeey | 
上 一 
Periorm plont idenhfcaon betore controller confguration 











图 10.7 ”模型 预测 控制 器 参数 设置 窗口 
对 于 图 10-7 所 示 的 窗口 ， 有 多 项 参数 可 以 调整 。 将 鼠标 移 到 相应 的 位 置 ， 就 会 出 现 


m 209 
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对 这 一 参数 的 说 明 。 现 将 这 些 说 明 分 别 加 以 解释 。 

和 ”Cost Honizon (N:) ”指定 时 间 步 数 ， 在 此 期 间 预 测 误差 达到 最 小 。 

量 Control Honizon (N,) 指定 时 间 步 数 ， 在 此 期 问 控 制 增 量 达 到 最 小 。 

和 ”Minimization Routine 可 以 从 几 个 线性 搜索 程序 中 选择 一 个 用 做 最 优化 算法 。 

和 @。 Control Weight Factor (bp ) ”在 性 能 尔 数 中 ， 控 制 权重 因子 用 于 与 控制 增 量 的 平 
方 和 相 乘 。 

量 。 Search Parameter (a ) ”这 个 参数 决定 了 线性 搜索 何 时 停止 。 

鳃 Iterations Per Sarmple Time 选择 在 每 个 采样 时 间 中 优化 算法 迭代 的 次 数 。 

下 而 是 四 个 按钮 的 说 明 : 

和 ”Plant Identification 单 击 此 按钮 可 打开 系统 辨识 窗口 。 在 控制 器 使 用 之 前 ， 系 统 
必须 先进 行 辨识 。 

@@ OK、Apply 在 控制 器 参数 设 定好 以 后 ， 单 击 这 两 个 按钮 的 任 一 个 部 可 以 将 这 些 
参数 导入 SIMULINK 模型 。 

@@ ”Cancel 取消 刚才 的 设置 。 


10.2.3 ”系统 辨识 











单 击 【Plant Identification】 按钮 ， 将 产生 一 个 新 的 窗口 ， 用 于 设 转 系 统 辨 识 的 参数 ， 
如 图 10-8 所 示 。 
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图 10-8 ”系统 辩 识 参数 设置 窗口 
在 控制 器 使 用 以 前 ， 必 须 建立 神经 网 络 模型 。 这 个 模型 预测 系统 末 来 的 输出 值 。 优 化 
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算法 使 用 这 些 预 测 值 来 决定 控制 输入 ， 以 优化 未 来 的 性 能 。 系 统 的 神经 网 络 模型 有 一 个 路 
售 层 。 这 个 隐 含 层 的 大 小 、 输 入 和 输出 的 时 延 ， 以 及 训练 函 数 都 在 图 10-8 所 泵 的 窗口 中 


设置 。 


络 。 


可 以 选择 BP 网 络 中 的 任意 训练 丽 数 米 训练 网 络 模型 。 


与 图 10-7 类 似 ， 在 图 10-8 所 示 的 窗 11 中 ， 有 很 多 参数 需要 设 署 。 将 鼠标 移 环 相应 的 
位 置 ， 也 会 出 现 对 这 些 参数 的 说 明 。 现 将 这 些 参 数 分 别 加 以 解释 。 
在 窗口 菜单 中 有 一 项 File， 其 包含 的 和 子 项 中 两 项 用 于 导入 和 导出 系统 模型 对 应 的 网 


Size of Hidden Layer 设置 在 系统 模型 网 络 第 一 层 中 的 神经 艺 数 日 。 
Sampling Interval (sec) ”指定 程序 从 SIMULINK 模型 中 采集 数据 的 间 帆 。 
Normalize Training Data ”指定 是 否 使 用 premnmx 冰 数 来 将 数据 标准 化 . 
No.Delayed Plant Inputs ”指定 了 加 到 系统 网 络 模型 的 输入 延迟 。 
No.Delayed Plant Outputs ”指定 了 加 到 系统 网 络 模型 的 输出 延迟 。 

Training Samples ”指定 了 为 训练 而 产 牛 的 数据 点 的 数目 。 

Maximum Plant Input ”指定 了 随机 输入 的 最 天 值 ， 

Minimum Plant Input ”指定 了 随机 输入 的 最 小 值 - 

Maximum Jnterval Value (sec) ”指定 “个 最 大 的 间隔 ， 在 这 个 问 隔 中 ， 随 机 输 
入 将 保持 不 变 。 

Minimum Interval value (sec) ”指定 -个 最 小 的 间隔 ， 在 这 个 间隔 中 ， 随 机 箱 
入 将 保持 不 变 。 

Limit Output Data 用 于 选 搓 系 续 输 出 是 否 为 有 界 值 。 

Maximum Plant Output ”指定 了 输出 的 最 大 值 。 

Minimum Plant Output 指定 了 输出 的 最 小 值 . 

Simalink Plant Model ”指定 用 于 产生 训练 数据 的 模型 〈《.mdl 文件 )。 
Training Epochs ”指定 训练 选 代 的 次 数 。 

Training Function ”指定 训练 数 . 

Use Current Weights ”指定 大 合 选择 当前 的 权重 用 于 连续 训练 。 

Use Valid Data ”指定 是 否 选 择 合法 数据 停止 训练。 

Use Testing Data ”指定 在 训练 过 程 中 测试 数据 是 否 被 追踪 。 





下 大 于 该 儿 的 说 明 ， 





单 刘 


Generate Training Data ”产生 用 于 网 络 训练 的 数据 。 
Impor Data 从 工作 空间 或 者 一 个 文件 中 导入 数据 。 
Export Data “将 训练 数据 导出 到 工作 空间 或 者 -个 文件 中 。 
Train Network “开始 网 络 模型 的 训练 。 在 训练 前 必须 已 经 产生 或 者 导入 了 数据 - 
OK、Apply “在 网 络 模型 经 过 训练 后 ， 单 击 这 两 个 按钮 中 的 任 -个 都 可 以 将 网 络 
导入 SIMULINK 模型 。 
Cancel 取消 刚才 的 设置 。 
生 【Generate Training Data】 按钮 ， 程 序 就 会 通过 对 SIMULINK 网 络 模型 提供 一 系 


列 随机 阶 跃 信号 ， 来 产后 训练 数据 ， 图 10-9 显示 了 这 些 训练 数据 。 
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图 10-9 训练 数据 


在 图 10-9 中 ， 有 两 个 按钮 ， 一 个 为 【Accept data】 按 钮 ， 如 果 单 击 这 个 按钮 ， 那 么 就 
接受 了 这 些 训练 数 据 ， 另 一 个 为 【Refuse Data】 按 钮 ， 如 果 单 击 这 个 按钮 ， 将 会 回 到 系统 
辨识 窗 品 ， 并 且 可 以 重新 开始 训练 。 

单 击 【Accept Data】 按 钮 ， 然 后 在 系统 辨识 窗口 中 单 击 【Train Network】 按 钮 ， 网 络 
模型 开始 训练 。 训 练 与 选择 的 训练 算法 有 关 〈 在 本 处 使 用 的 是 tainlim)。 在 训练 结束 后 ， 
相应 的 结果 被 显示 出 来 ， 如 图 10-10 (a) 及 10-10 (b) 所 示 。 
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图 10-10 (a) 显示 的 大 训练 数据 ， 图 10-10 (b) 显示 的 是 台 渤 数据。 在 每 个 图 小 ， 左 
上 角 的 图 显示 了 随机 输入 : 随机 的 阶 跃 高 度 和 宽度 :右上 角 的 久 显 示 了 异型 SIMULINK 
输出 : 左下 角 的 图 显示 了 误 怎 ， 即 系统 条 出 与 网 络 模型 输出 的 产 别 ， 右 下 角 的 图 显示 了 神 
经 网 络 模型 输出 。 
此 时 ， 可 以 单 击 【Train Network】 按 钮 继续 再 次 使 用 同样 的 数据 进行 训练 ， 也 可 以 单 
击 【Erase Generated Data】 按 钮 ， 并 时 产 牛 新 的 数据 。 当 然 ， 也 可 以 接受 当前 的 模型 ， 并 
且 开 始 对 闭环 系统 进行 仿真 。 


10.2.4 系统 仿真 





在 系统 辨识 窗口 中 单 击 【OK]】 接 铀 ， 将 训练 好 的 神经 网 络 模型 导入 到 NN Predictive 
Controller 模块 中 。 

在 神经 网 络 预测 控制 窗口 中 单 忆 【OK]】 按钮 ， 将 控制 器 参数 导入 到 NN Predictve 
Controller 模块 中 。 

返回 到 SIMULINK 模型 ， 并 且 从 【Simulation】 菜 单 中 单 击 【Start】 命令 开始 仿真 。 
仿真 的 过 程 需要 - 段 时 间 。 当 仿真 结束 时 ， 将 会 显示 出 系统 的 输出 ， 同 时 ， 参 考 信号 也 会 
显示 出 来 ， 如 图 10-11 所 示 。 
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图 10-11 仿真 得 到 的 系统 输出 及 参考 信和 号 
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10.3 ”反馈 线性 化 控制 理论 


这 一 节 描述 的 神经 网 络 控制 器 有 两 个 不 同 的 名 字 : 反锁 线性 化 控制 器 和 NARMIA-L2 
控制 器 。 这 类 控制 器 的 中 心思 想 是 : 通过 去 掉 非 线性 ， 将 一 个 非 线性 系统 变换 成 线性 系统 。 





10.3.1 辨识 NARMA-L2 模型 


与 模型 顶 测 控制 一 样 ， 反 馈线 性 化 控制 的 第 “ 步 就 是 去 辨识 被 控制 的 系统 。 通 过 训练 
一 个 神经 网 络 来 表示 系统 的 前 向 动态 机 制 ， 第 一 步 首先 选择 “个 模型 结构 以 供 使 用 。 -个 
用 来 代表 一 般 的 离散 非 线性 系统 的 标准 模型 是 ， 莫 线性 自 苛 儿 移 动 平均 模型 (NARMA ) ， 
用 下 式 表示 ; 

YE 由 = NEO 7( 类 一 中,y(K 一 天 十 D( 天 (天 一 ]……:E( 天 一 于 二 D] 

式 中 ，xCE) 表示 系统 的 输入 ，y(K) 表示 系统 的 输出 。 在 因 识 阶段 ， 训 练 神经 网 络 使 
其 近似 等 于 非 线性 函数 N。 

如 果 希 望 系统 输出 跟随 一 些 参 考 曲 线 X(K 二 由 = 岂 ( 作 十 由， 下 一 步 就 是 建立 -个 有 








如 下 形式 的 非 线性 控制 器 : 
(了 = G[y(GD YE 一 (大 一 下 十 TD, ye (天 十 四 (天 一 ]D 2( 天 一 天 十 可 ] 
图 10-12 表示 了 神经 网 络 结构 。 
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岗 10-12 神经 网 络 结构 
使 用 该 类 控制 器 的 问题 是 :如果 您 想 训练 -个 神经 网 络 用 米 产生 函数 G (最 小 化 均 方 
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着 )， 您 必须 使 用 动态 反馈 ， 且 该 过 程 祖 当 慢 。 直 Narendra 和 Mukhopadhyay 提出 的 - 个 
解决 办 法 是 : 使 用 近似 模 理 来 代表 系统 。 在 这 里 使 用 的 控制 器 模型 是 基于 NARMA-L2 近 
似 横 击 ; 


3 十 四 = (7 一] 天 一 下 十 DiE( 开 一 了 (大 一 严 二 了] 十 BCK)， 
3yE-D ya+DE-TD ea 一 ma+I 
该 模型 是 并 联展 式 ， 二 -个 壤 制 器 输入 w(K) 没有 包含 在 非 线 竹 系统 里 。 这 种 撒 式 的 
优点 是 ， 能 解决 控制 器 输入 使 系统 得 出 跟随 参考 曲线 YE+ 中 = 六 全 二 G) 。 最 终 的 控制 
器 形式 如 下 ; 


(十 四 一 FED 人 大 一 ]) 0y( 开 一 正二 DR 大 一 D2( 天 一 站 十 1 
[天 Y( 一 贡 ,YY( 开 一 下 十 1 天 一 上 (天 一 天 十 ] 


育 接 使 用 该 等 式 会 引起 实现 问题 ， 因 为 基于 输出 (有 ) 的 同时 您 必须 同时 得 到 以 K) ， 
所 以 我 们 采用 下 述 模型 ; 


ur 人间 = 普 





VE 四 = LE 一下 HtDECR sa 天 一 下 二 是 


[yy 天 一 正二 和 (大 ) (大 一 天 十 区 天 一 防 
这 里 d 之 2。 


10.3.2 NARMA-L2 控制 器 
利用 NARMA-L2 模型 ， 可 得 到 如 下 的 控制 器 


交大 + 中 一 用 yy( 炎 一切 (一 于 十 DR 一 站 (大 一 下 十 和 
[JR 一 De 7( 民 一 严 十 了 D, 天 一 了 :HK 天 一 天 二 TD 





HKE+D = 


这 里 4 大 2， 图 10-13 表示 NARMA-L2 模型 控制 器 。 











阅 10-13 NARMA-L2 模型 控制 器 


人 gg 
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该 控制 器 可 在 已 闪 识 出 的 NARMA 实验 模型 里 得 到 实现 ， 如 图 10-14 所 示 。 


NeuraiNetwork Approxmmation of 
交 
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图 10-14 ”控制 器 实现 


10.4 NARMA-L2《〈 反 馈线 性 化 ) 控制 实例 分 析 


NARMA-L2《〈 反 馈线 性 化 ) 控制 的 主要 吊 想 是 通过 去 掉 非 线性 部 分 ， 将 非 线 性 动态 
系统 转换 成 线性 动态 系统 。 本 节 首 先 将 先 给 出 一 个 相伴 型 系统 模型 ， 并 介绍 怎样 使 用 神经 
网 络 来 辨识 这 个 模型 ， 然 后 描述 怎样 使 用 辩 识 了 的 神经 网 络 模型 来 设计 控制 器 。 下 面 将 结 
合 MATLAB 6.5 神经 网 络 开 具 箱 中 提供 的 一 个 实例 ， 来 介绍 这 一 过 程 


10.4.1 ”问题 的 描述 


如 图 10-15 所 示 ， 有 一 其 磁铁 ， 被 约束 在 短 直 方向 上 运动 。 在 其 下方 有 - - 块 电磁 铁 ， 
通电 以 后 ， 点 磁铁 就 会 对 其 上 的 磁铁 产生 电磁 力作 用 。 我 们 的 目标 就 是 通过 控制 电磁 铁 ， 
使 得 其 上 的 磁铁 保持 屋 浮 在 空中 ， 不 会 掉 下 来 。 

建立 这 个 实际 问题 的 动力 学 方程 式 如 下 ; 

do 8dyg 
d2 ”MyD M dt 

















可 


二 ， 




















图 10-15 “悬浮 磁 铁 控制 


re 人 吕 。 =m 
PER 


SI 


一 os nanaeusenenai MATLAE ES 


上 式 中 7(9 表 丰 磁 铁 离 电磁 铁 的 距离 ， 式 !) 代表 电磁 铁 中 的 电流 ，M 代表 磁铁 的 质 


量 ，g 代表 生 力 加 速度 。 参 数 有 代表 粘性 摩擦 系数 ， 它 山 磁铁 所 在 的 容器 的 材料 决定 ， 忆 
代表 声 强 常数 ， 它 由 电磁 铁 上 所 绕 的 线圈 转 数 ， 以 及 位 铁 的 强度 所 诀 定 。 


10.4.2 ”建立 模型 


MAILAB 6.5 的 神经 网 络 工具 箱 NN Toolbox 4.0.2 提供 了 这 个 演示 实例 。 只 需 在 
MATLAB 命令 行路 输入 narmamaglev， 就 会 自动 地 调用 SIMULINK， 并 月 产 牛 如 图 10-16 
所 示 的 模型 窗 L。NARMA-L2 控制 模块 已 经 被 放 各 在 这 个 模型 中 。 
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疼 10-16 模型 窗口 





与 模型 预测 控制 一 样 ， 图 10-16 中 的 Plant (Magnet Levitation ) 模块 包含 了 磁悬浮 系 
统 的 SIMULINK 模 型。 同样 ， 只 震 双 击 这 个 模块 ， 便 可 以 得 到 其 具体 的 SIMULINK 实现 ， 


如 图 10-17 所 示 。 
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图 10-17 ”磁悬浮 系统 的 SIMULINK 局 型 
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关于 这 个 磁悬浮 系统 的 SIMULINK 模型 的 建立 过 程 并 不 是 本 书 的 重点 ， 故 此 处 只 是 
加 以 引用 ， 而 不 打算 进行 更 深入 的 探讨 ， 有 兴趣 的 读者 可 以 参考 MATA8B 控制 系统 
SIMULINK 设计 的 相关 书籍 。 

下 面 回 到 图 10-16 所 示 的 窗口 中 。 在 这 个 窗口 中 有 一 个 NARMA-L2 Controller 模块 ， 
这 个 异 块 是 在 神经 网 络 工具 箱 中 生成 并 复制 过 来 的 。 这 个 模块 的 Control Signal 端 连接 到 
此 基 浮 系统 模型 的 Current 输入 端 ， 系 统 模型 的 Position 输出 端 连 按 人 到 模块 的 Plant Output 
端 ， 参 考 信号 连接 到 模块 的 Reference 端 。 


10.4.3 “系统 辨识 





双击 NARMA-L2 Controller 模 决 ， 将 会 产生 一 个 新 的 窗口 ， 如 疼 10-18 所 示 - 这 个 窗 
D 用 于 训练 NARMA-L2 模型 。 





这 里 没有 单独 的 控制 器 窗口 ， 这 是 由 于 控制 器 是 直接 由 模型 得 到 的 ， 在 
这 一 点 上 与 模型 预测 控制 不 同 。 





与 模型 预测 控制 类 似 ， 在 使 用 神经 网 络 控制 之 前 ， 必 须 先 对 系统 进行 辨识 。 图 10-18 
所 示 的 窗口 ， 即 为 系统 辨识 参数 设置 窗口 ， 其 中 有 很 多 参数 融 要 设置 。 与 前 而 介绍 过 的 
样 ， 将 鼠标 移 到 相应 的 位 置 ， 也 会 出 现 对 这 些 参 数 的 说 明 。 由 于 前 而 已 经 给 出 了 较 详细 的 
介绍 ， 本 处 就 不 再 效 述 ， 读 者 可 以 参照 上 - - 节 的 相关 部 分 。 

在 进行 仿真 之 前 ， 先 要 训练 网 络 ， 而 训练 前 需要 产生 相应 的 训练 数据 。 
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网 10-18 ”系统 办 识 参数 设置 窗口 
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同 10.2 节 类 似 ， 单 击 【Generate Training Data】 按 钮 ， 产 生 训练 数据 。 相 应 的 过 程 可 
参考 10.2 节 的 对 应 部 分 ， 本 处 只 给 出 结果 ， 如 图 10-19 所 示 。 
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疼 10-19 训练 数据 


同 前 所 述 , 接受 这 些 数据 , 站 开始 训练 . 此 处 给 出 相应 的 训 红 结 果 分 别 如 图 10-20(a) 一 
图 10-20 (c) 所 示 。 
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10-20 (ec) ”测试 数据 





图 10-20 〈a) 显示 的 是 训练 数据 ， 图 10-20 (b) 灵 示 的 是 合法 数据 ， 图 10-20 〈c) 
显示 的 是 测试 数据 。 人 在 每 个 图 中 ， 左 上 角 的 图 显示 了 随机 输入 ， 随 机 的 阶 路 高 度 和 宽度 ; 
右上 角 的 图 显示 了 模型 SIMULINK 输出 ;左下 角 的 图 显示 了 误差 ， 即 系统 输出 与 网 络 模 
型 输出 的 差别 ， 右 下 角 的 图 显示 了 神经 网 络 模型 输出 。 

此 时 ， 可 以 单 击 【Train Network】 按 钮 继续 再 次 使 用 同样 的 数据 进行 训练 ， 也 可 以 单 
击 【Erase Generated Data】 按钮 ， 并 且 产 生 行 的 数据 。 当 然 ， 也 可 以 接受 当前 的 模型 ， 并 
且 开始 对 闭环 系统 进行 仿真 。 


10.4.4 “系统 仿真 














在 系统 辩 识 窗口 中 单 击 【OK]】 按钮 ， 将 训练 好 的 神经 网 络 模型 导入 到 NARMA-L2 
Controller 模块 中 。 

返回 到 SIMULINK 模型 ， 并 且 从 【Simulation】 菜 单 中 选择 【start】 命 令 开始 仿真 。 
仿真 的 过 程 需要 - 段 时 间 。 当 仿真 结束 时 ， 将 会 显示 出 系统 的 输出 ， 同 时 ， 参 考 信 和 号 也 会 
显示 出 米 ， 如 图 10-21 所 示 。 
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10.5 ”模型 参考 控 


神经 模型 参考 控制 采用 两 个 神经 网 络 : “个 控制 器 网 络 和 个 实验 模型 网 络 ， 恕 图 
10-22 所 示 。 首 先 辨识 出 实验 模型 ， 然 后 训练 控制 器 ， 使 得 实验 输出 跟随 参考 模型 输出 。 
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疼 10-22 ”神经 模型 参考 控制 


图 10.23 显示 了 神经 网 络 实验 模型 的 详细 情况 ， 它 们 可 以 从 神经 网 络 工 其 箱 中 得 到- 
每 个 网 络 有 一 层 ， 在 隐 层 里 您 可 选取 神经 元 的 数 日 来 使 用 。 

这 里 存在 三 类 控制 器 输入 : 

@ 延迟 参考 输入 

@@ 延迟 控制 输出 

@ 延迟 实验 输出 

关 十 控制 器 ， 您 可 选择 延迟 数 趾 。 如 何 设置 这 些 参数 将 在 其 他 地 方 描述 。 
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10.6 ”模型 参考 控制 实例 分 析 


神经 网 络 模型 参考 控制 体系 结构 使 用 两 个 神经 网 络 ; “个 控制 器 神经 网 络 和 一 个 系统 
模型 神经 网 络 。 首 先 ， 对 系统 模型 进行 辨识 ， 然 后 ， 训 练 控制 器 神经 网 络 ， 使 得 系统 输出 
跟踪 参考 模型 的 输出 。 

MATLAB 6.5 的 神经 网 络 工 具 箱 NN Toolbox 4.0.2 提供 了 这 种 神经 网 络 的 实现 。 每 个 
网 络 由 两 层 组 成 ， 并 且 可 以 选择 隐 含 层 的 神经 元 数 月 。 有 三 组 控制 器 输入 

@ 延迟 的 参考 输入 

@ 延迟 的 控制 输出 

@@ ”延迟 的 系统 输出 

对 于 每 一 个 这 种 输入 ， 可 以 选择 延迟 值 。 通 常 ， 随 着 系统 阶 次 的 增加 ， 延 迟 的 数目 也 
增加 。 对 于 神经 网 络 系统 模型 ， 有 两 组 输入 

@ 延迟 的 控制 器 输出 

@ 延迟 的 系统 输出 

下 面 结合 MATLAB 神经 网 络 工具 箱 中 提供 的 一 个 实例 ， 来 介绍 神经 网 络 控制 器 的 训 
练 过 程 。 


10.6.1 “问题 的 描述 


图 10-24 中 显示 了 一 个 简单 的 单 连接 机 械 臂 ， 我 们 的 日 的 是 控制 它 的 运动 。 





外 10-24 ”简单 的 单 连 接 机 械 殿 
首先 ， 建 立 它 的 运动 方程 式 ， 如 下 所 示 : 


旦 更 -10sinG6 -29 虹 4 
dd 生 

在 这 里 ， 四 代表 机 械 辟 的 和 角度， 六 代表 DC (直流 )》 电机 的 转 称 。 我 们 的 目标 古训 练 
控制 器 ， 使 得 机 械 臂 能 够 跟踪 参考 模型 : 


:ME 
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这 里 》% 代表 参考 模型 的 输出 ， 了 代表 参考 信号 。 


10.6.2 ”模型 的 建立 


MAILAB 6.5 的 神经 网 络 工具 箱 NN Toolbox 4.0.2 提供 了 这 个 演示 实例 。 其 中 ， 使 用 
的 神经 网 络 控制 器 为 5-13-1 结构 。 控 制 器 的 输入 包含 了 两 个 延迟 参考 输入 、 两 个 延迟 系 
统 输出 和 一 个 延迟 控制 器 输出 ， 采 样 问 隔 为 0.05 秒 。 

只 需 在 MATLAB 命令 行 中 输入 mrefrobotarm， 就 会 自动 地 调用 SIMULINK， 并 且 产 
生 如 图 10-25 所 示 的 模型 窗口 。 模 型 参考 控制 模 快 已 经 被 放置 在 这 个 模型 中 。 


LS 











图 10-25 模型 窗口 


与 前 面 的 模型 预测 控制 一 样 ， 图 10-25 中 的 Plant (Robot Arm) 模块 包含 了 机 械 臂 系 
统 的 SIMULINK 模型 。 同 样 ， 只 需 双击 这 个 模块 ， 便 可 以 得 到 其 具体 的 SIMULINK 实现 ， 
如 图 10-26 所 示 。 
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关于 这 个 机 械 髓 系统 的 SIMULINK 模型 的 建立 过 程 并 不 古本 书 的 重点 ， 歼 此 处 只 是 
如 以 引用 ， 而 不 打算 进行 更 深入 的 探讨 ， 有 兴趣 的 读者 可 以 参考 MATAB 控制 系统 
SIMULINK 设计 的 相关 书籍 。 

下 面 回 到 图 10-25 所 示 的 窗口 中 。 在 这 个 窗口 中 有 一 个 Model Reference Controller 模 
块 ， 这 个 民 块 是 在 神经 网 络 工具 箱 中 生成 首 复 制 过 来 的 。 这 个 模块 的 Control Signal 端 连 
搂 到 此 机 械 辟 系统 模型 的 Torque 输入 端 ， 系 统 模型 的 Angle 输出 端 连 接 到 模块 的 Plant 
Output 端 ， 参 考 信号 连接 到 模块 的 Reference 端 。 


10.6.3 ”系统 辨识 











回 











双击 模型 参考 控制 模块 ， 将 会 产生 -个 新 的 窗口 ， 如 图 10-27 所 示 。 这 个 窗口 用 于 训 
练 模型 参考 控制 器 。 

对 于 图 10.-27 所 示 的 窗口 ， 有 多 项 参数 可 以 调整 。 将 鼠标 移 到 相应 的 位 置 ， 就 会 出 现 
对 这 一 个 参数 的 说 明 。 在 本 章 第 2 节 中 ， 我 们 给 出 了 几 个 窗口 参数 设置 的 较 详细 的 解释 ， 
此 处 与 前 面 类 似 ， 故 不 再 解释 ， 读 者 可 以 参考 前 面 的 解释 。 

下 一 步 在 网 10-27 所 示 的 窗口 中 单 击 【Plant Identification】 按 钮 ， 系 统 辨 识 窗 口 将 会 
弹出 ， 如 图 10-28 所 示 。 
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由 于 在 前 面 两 节 的 设计 中 均 有 关于 系统 辨识 窗口 的 操作 ， 故 本 处 不 霄 改 述 。 
下 一 步 单 击 【Generate Data】 按钮 ， 程 序 开始 产生 训练 控制 器 需要 的 数据 ， 革 数据 产 
生 结束 后 ， 将 会 出 现 如 图 10-29 所 示 的 数据 窗口 。 
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单 让 【Accept Data】 按 乌 ， 返 回 色 模型 参考 控制 窗口 。 单 击 【Train Controller】 按 钟 ， 
开始 训练 ,程序 将 一 段 数 据 输 入 网 络 ， 计 且 对 网 络 进行 指定 数目 的 迁 代 〈 人 在 这 出 为 5)- 
直到 所 右 的 训练 数据 都 输入 了 网 终 ， 这 个 过 程 才 停止 。 控 制 器 训练 需要 的 时 间 比 系统 异型 
训练 需要 的 时 间 长 得 多 .这 是 因为 控制 器 必须 他 用 动态 反 传 算法 。 训 练 结 束 后 ， 闭 环 系统 
的 现 应 绪 果 被 显示 出 来 ， 如 图 10-30 记 示 - 
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图 10-30 闭环 啊 点 结果 


图 10-30 中 上 部 分 表示 的 是 用 十 训练 的 随机 参考 信号 ， 下 部 分 表示 的 是 参考 模型 的 响 
应 信号 ， 以 及 闭环 系统 的 响应 信 苇 。 系 统 的 响应 信号 应 该 跟踪 参考 模型 的 信号 。 
到 模型 参考 控制 窗口 ， 如 果 控 制 器 的 性 能 不 准确 ， 那 么 ， 可 以 要 次 单 证 【 Train 
Contreller】 按 钮 ， 这 样 就 会 继续 使 用 同样 的 数据 对 控制 器 进行 训练 。 如 果 需 要 使 用 新 前 数 
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据 继续 训练 ， 可 以 在 单 击 【Train Controller】 按 钮 之 前 单 击 【Generate Training Data】 按 钮 
或 者 【Import Pata】 按钮 (注意 ， 要 确认 Use Curment Weights 被 选中 )， 另 外 ， 如 果 系 统 
模型 不 够 准确 ， 也 会 影响 控制 器 的 训练 。 当 然 ， 在 本 例 中 ， 不 存在 这 个 问题 。 


10.6.4 “系统 仿真 














在 系统 辩 识 窗口 中 单 击 【OK] 按钮 将 训练 好 的 神经 网 络 控制 器 权重 导入 SIMULINK 
模型 中 。 
返回 到 SIMULINK 模型 ， 并 且 从 【Simulation】 沫 单 中 移 择 【Start] 命令 开始 仿真 。 
仿真 的 过 程 需要 一 段 时 间 。 当 仿真 结束 时 ， 将 会 显示 出 系统 的 输出 ， 同 时 ， 参 考 信号 也 会 
显示 出 来 ， 如 图 10-31 所 示 。 
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图 10-31 ”仿真 得 到 





10.7 总 结 


首先 ， 对 网 络 的 导出 与 导入 加 以 简单 说 明 。 对 于 本 章 介绍 的 三 种 神经 网 络 控制 结构 ， 
可 以 将 设计 好 的 网 络 和 训练 数据 保存 到 工作 空间 中 或 是 保存 到 磁盘 文件 中 。 这 些 操作 将 在 
第 11 章 《 图 形 用 户 接口 GUI》 中 进行 介绍 。 有 兴趣 的 读者 可 以 参考 第 11 章 的 相关 部 分 ， 
只 要 稍 做 变动 即 可 。 

下 而 对 本 章 介绍 的 三 种 神经 网 络 控制 器 加 以 总 结 。 
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提神 经 网 络 预测 控制 是 使 用 神经 网 络 系统 模型 来 预测 系统 未 来 的 行为 。 优 化 算法 用 
-确定 控制 输入 ， 这 个 控制 输入 优化 了 系统 在 一 个 有 限时 间 段 里 的 性 能 。 系 统 训 
练 仅 仅 需 要 对 于 静态 网 络 的 成 批 训练 算法 ， 当 然 ， 训 练 速度 卡 常 快 。 控 制 器 需要 
在 线 的 优化 算法 ， 这 就 需要 比 其 他 控制 器 更 多 的 计算 。 
@ 对 于 NARMA-L2〔〈 反 馈线 性 化 ) 控制 ， 系 统 的 近似 模型 转换 成 相伴 型 。 计 算出 
的 下 一 个 控制 输入 被 用 十 迫使 系统 输出 跟踪 参考 信号 。 这 种 神经 网 络 系统 异型 使 
月 静态 反 传 算法 ， 因 此 ， 速 度 很 快 。 控 制 器 是 对 系统 模型 的 重 整 ， 它 需要 最 小 的 
在 线 计算 。 

@@ ”对 于 模型 参考 控制 ， 首 先 建立 一 个 神经 网 络 系统 模型 。 接 着 ， 使 用 这 个 系统 异型 
米 训 练 一 个 神经 网 络 控制 器 ， 人 迫使 系统 输出 跟踪 参考 模型 的 输出 。 这 种 控制 结构 
需要 使 用 动态 反 传 算法 来 训练 控制 器 。 这 样 ， 通 常情 况 下 比 使 用 标准 的 芭 传 算法 
训练 静态 网 络 花费 的 时 间 要 多 。 然 而 ， 这 种 方法 比 NARMA-L2《 反 馈线 性 化 ? 
控制 结构 更 能 适应 一 般 的 情况 。 这 种 控制 器 需要 最 少 的 在 线 计算 时 间 。 
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第 11 章 图 形 用 户 接口 GUI 


与 以 前 的 版 本 不 同 ，MATLAB 6.5 提供 的 神经 网 络 工具 箱 NN Toolbox 4.0.2 新 增 了 一 
个 非常 流行 的 切 能 : 网 形 用 户 接 踢 (GUI)， 这 使 得 神经 网 络 的 设计 变 得 间 常 容易 上 于 
其 界面 也 非常 友好 。 

本 章 主要 内 容 包括 

量 。 建 立 网 络 
训练 网 络 
将 数据 导出 到 命令 行 工作 空间 中 
清除 数据 
从 命令 行 工作 空间 中 导入 数据 
变量 存盘 与 读 取 


11L.1 引 
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与 以 前 的 版 本 不 同 ，MATLAB 6.5 提供 的 神经 网 络 工具 箱 NN Toolbox 4.0.2 新 增 了 一 
个 非常 流行 的 功能 :图形 用 户 接口 《GUI)， 这 使 得 神经 网 络 的 设计 变 得 非常 容 易 上 手 
其 办 面 也 非常 友好 。 

在 使 用 图 形 用 户 接口 时 ， 将 产生 一 个 Nerwork/Data Manager 窗口 。 这 个 窗口 有 它 自 己 
的 工作 空间 ， 这 个 工作 空间 是 与 我 们 以 前 经 常 提 到 的 MATLAB 命令 行 工作 空间 分 开 的 。 
于 是 ， 在 使 用 图 形 用 户 接口 时 ， 就 有 可 能 将 其 产生 的 结果 “导出 ”到 MAITLAB 命令 行 工 
作 室 间 中 。 同 样 地 ， 也 有 可 能 将 MATLAB 命令 行 工作 空间 的 结果 “导入 ”到 图 形 用 户 接 
马 工 作 空间 中 

当 Network/Data Manager 窗 1 处 于 激活 状态 〈 在 运行 ) 时 ， 就 可 以 使 用 其 生成 一 个 神 
经 网 络 ， 并 且 能 够 看 到 这 个 网 络 ， 对 它 进行 训练 、 仿 真 ， 甚 至 可 以 将 最 斤 得 到 的 结果 导出 
到 MATLAB 命令 行 工作 空间 中 。 当 然 ， 辣 样 可 以 将 MATLAB 命令 行 工作 空间 中 的 数据 
导入 到 图 形 用 户 接口 中 使 用 。 

下 面 使 用 - -个 非常 简单 的 例子 ， 来 说 明 图 形 用 户 界面 的 使 用 。 将 设计 一 个 感知 器 神经 
网 络 ， 并 将 尽 可 能 地 使 用 能 够 用 到 的 所 有 步 又 ， 遂 过 这 些 步骤 ， 解 决 在 设计 过 程 中 可 能 遇 
到 的 问题 。 





11.2 建立 网 络 


在 本 例 中 ， 将 要 建立 一 个 感知 器 网 络 ， 使 其 能 够 完成 “与 ”的 功能 。 显 然 ， 对 于 这 个 
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“与 ” 数 来 说 ， 输 入 向 量 为 p=[00 1 1;010 中 ， 目 标 向 量 为 t=t00 01]。 我 们 给 这 个 感知 
器 网 络 命名 为 ANDNet。 一 旦 网 络 被 建立 起 来 ， 就 要 对 其 进行 训练 。 下 “ 步 ， 通 过 将 图 形 
用 书 接口 的 数据 导出 到 MATLAB 命令 行 工作 空间 路 ， 我 们 甚 全 可 以 完成 保存 网 络 、 网 络 
答 出 等 上 作 。 


11.2.1 输入 和 日 标 


开始 在 MATLAB 命令 行 中 输入 nntool， 就 会 出 现 一 个 窗口 ， 如 图 11-1 所 示 ， 这 就 是 
前 面 提 芭 的 NetworkyData Manager 窗口 。 




















趟 NetworkyData 下 
Inputs Networks Outputs: 
Targets Emors 
Input Delay States: Layer Delay 9tateS: 
Networks and Data 一 二 
Halp New Data__ | New Networkc_. 
Import Epo 
Networks only 





疼 11-1 NetworkyData Manager 密 口 


观察 此 窗 吊 ， 可 见 其 有 7 个 显示 这 域 和 若干 个 按钮 。 其 中 mputs 区 域 中 将 显示 指定 的 
输入 向 量 ;， Targets 区 域 遇 将 显示 指定 的 日 标 向 量 ，Input Dalay States 区 战 中 将 显示 设置 的 
输入 延迟 参数 ，Networks 区 域 中 将 显示 没 置 的 网 络 类 型 ，Outputs 区 域 中 将 显示 网 络 对 上 
的 输出 值 ，Errors 区 域 中 将 显示 误差 ， Layer Dalay States 区 域 中 将 显示 层 的 延迟 状态 。 在 
后 面 将 会 对 它们 详细 介绍 。 

此 时 ， 如 果 对 赂 形 用 户 接口 不 太 热 荡 ， 可 以 单 击 【Help]】 按钮 。 这 时 将 弹出 -个 新 的 
窗 11， 此 窗 1] 首 先 介 织 了 使 用 图 形 用 户 接口 解决 问题 的 一 般 步 又 ， 然 后 给 出 了 关于 这 些 按 
钮 的 描述 ， 最 后 ， 对 十 每 个 区 域 各 代表 什么 意思 也 做 了 介绍 。 

首先 ， 要 定义 网 络 的 输入 值 。 令 输入 向 晶 为 [0 0 1 10 1 0 1]， 记 为 p。 于 是 ， 网 络 的 
输入 为 凑 元 素 的 向 量 ， 一 上 有 4 个 这 样 的 两 元 素 输入 向 址 供 网 络 训练 用 。 要 在 网 形 用 户 轻 
面 中 几 现 这 些 数 沟 的 定义 ， 只 需 音 击 【New Data] 控 钮 。 此 时 ， 将 弹出 “个 名 为 Create New 
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Data 的 新 窗户 。 将 此 鹤 口 中 Name 区 域 的 值 设置 为 bp， 将 Value 区 域 的 值 设 置 为 0011:01 
0 1， 并 且 确 保 右边 单 选 框 中 的 Inputs 选项 被 选中 。 寺 是 ， 我 们 将 得 到 设置 好 了 的 笨 入 向 
量 设置 ， 实 际 窗口 如 网 11-2 所 示 。 





Name Data Type 

p | 站 Inputs 

广 Targets 
CnputDelay Siates 
和 LayerDelay States 
COutputs 

广 Emors 








Help 机 而 | Create 


图 11-2 千 Create New Data 窗口 中 设置 输入 值 














存 设置 好 以 上 输入 前 基 之 后 ， 单 击 【Create】 按 钮 ， 就 完成 了 存 图 形 用 户 接口 中 输入 
初始 向 量 忆 的 过 程 。 此 时 ， 返 回 到 NetworkyData Manager 窗口 中 ， 半 在 其 中 的 Inputs 区 域 
中 将 器 作 为 输入 显示 出 来 。 

此 时 ， 单 击 mpwts 区 虐 中 刚才 设置 的 产值 ，NetworkyData Manager 窗口 中 的 【View】 
技 钮 和 【Delete】 按 钮 被 激活 ， 说 明 可 以 显示 输入 z 的 值 ， 也 可 以 将 其 删除 。 单 而 【View]】 
按钮 ， 得 到 -个 新 的 窗口 ， 如 网 11-3 所 示 。 
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网 11-3 输入 癌 量 的 显示 窗口 
在 这 个 窗口 中 显示 了 输入 向 量 咏 的 值 。 单 击 【Manager】 接 饥 ， 控 制 的 焦点 就 会 [ 











到 





NetworkyData Manager 窗口 ， 可 以 进行 其 他 操作 。 
在 NetworyData Manager 窗口 中 单 击 【PDelele】 按 钮 ， 则 会 将 刚才 输入 的 向 量 户 从 网 
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形 用 户 接口 工作 空间 中 删除 。 
面 在 图 形 用 户 接 员 中 定义 目标 值 。 再 次 单 击 【New Data] 按钮 ， 在 变量 名 区 域 中 答 
入 忆 将 Value 区 域 的 值 设置 为 [000 1]， 并 用 将 右边 单 选 杠 中 的 Targets 选项 选中 。 在 设置 























好 以 上 旦 标 向 量 之 后 ， 再 次 单 击 【Create】 按 钮 ， 这 时 ， 就 会 在 NetworkjData Manager 窗 
已 的 Targets 区 域 中 得 到 日 标 值 t 这 与 前 面 的 P 的 情况 相似 ， 如 图 11-4 所 不。 

直 Network/Data Manager 周 回 马 

Inputs Nelworks Outputs 

8 

Targets Emors 

InputDelay States Layer Delay States 








Networks and Data 


Healp New Data | New Networkc- 


Impott Et | wew | case 寺 











Networks only 
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图 11.4 定义 了 输入 与 日 标 数据 的 NetworkfData Manager 密 口 








11.2.2 ”建立 网 络 


下 一 步 准备 建立 一 个 新 的 网 络 ， 并 命名 为 ANDNet。 首 先 ， 在 Network/Data Manager 
窗口 中 单 击 【New Network】 按 钮 ， 这 时 将 弹出 - 个 新 的 窗口 ，Create New Network。 在 其 
Network Name 区 域 中 输入 ANDNet 作为 网 络 名 ， 然 后， 将 网 络 类 型 设 喧 为 感知 器 ， 即 在 
其 Network Type 区 域 中 选择 Perceptron。Input ranges 区 域 用 于 设置 输入 向 量 的 范围 ， 可 以 
直接 在 其 中 填写 数字 , 但 是 更 方便 的 办 法 是 让 它 自 动 地 从 输入 数据 中 得 到 . 单 击 Input ranges 
右边 的 下 拉 箭 头 , 在 下 拉 列 表 中 显示 可 以 从 输入 疡 中 得 到 的 输入 范围 。 这 正 是 我 们 需要 的 。 
单 击 p， 十 是 就 设置 输入 范围 为 [0 10 1]。 

下面 指定 传递 函数 和 学 习 琐 数 。 希 望 使 用 hardlim 函数 作为 传递 函数 ， 使 用 learnp 天 
数 作为 学 习 函 数 。 于 是 单 击 Transfer function 右边 的 下 拉 箭 头 ， 得 到 下 拉 绚 表 ， 从 中 选择 
卫 数 HARDLIM， 单 击 Transfer function 右边 的 下 拉 箭头 ， 得 到 下 拉 询 表 ， 从 中 选择 函数 
LEARNP。 

经 过 上 述 的 设置 后 ，Create New Network 窗口 如 图 11-5 所 不 。 
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图 11-5 设置 好 以 后 的 Create New Network 窗口 


在 上 述 窗口 中 单 击 【View】 按钮 ， 可 以 看 到 建立 的 网 络 结构 图 ， 如 图 11-6 所 示 。 
































J) View of New Network 

















Close 





赂 11-6 建立 的 网 络 结构 图 


从 图 11-6 可 以 看 出 ， 建 立 的 网 络 为 单 输入 〈 此 输入 有 两 个 分 量 )， 传 递 函数 为 hardlim 
函数 ， 输 出 端 也 为 单 输出 。 这 正 是 我 们 需 竖 的 感知 器 网 络 。 

单 击 Create New Network 窗口 中 的 【Create】 按 钮 ， 就 会 在 图 形 用 户 接口 工作 空间 中 
建立 起 这 个 网 络 。 此 时 , 义 会 回 到 NetworkyData Manager 窗口 的 控制 中 ， 可 以 发 现 , ANDNet 
出 现在 Networks 区 域 中 。 

至 此 ， 已 经 在 图 形 用 户 接 只 中 建立 起 了 需要 的 网 络 。 


113 训练 网 络 


下 面 训练 刚才 建立 的 网 络 。 首 先 ， 在 Networky/Data Manager 窗 上 中 单 击 ANDNeb 将 
其 激活 。 这 时 ， 可 以 发 现 Networks only 区 域 中 的 四 个 按钮 【 Initialize 了 【Simulate】、 
【Train】【Adapt】 变 为 有 效 。 单 击 【Train】 按钮 ， 将 弹出 一 个 新 的 窗口 ， 名 为 Network: 
ANDNet。 在 这 个 窗口 中 ， 单 击 左上 角 的 【view】 按 钙 ， 也 能 够 看 到 网 络 的 结构 图 。 此 时 ， 
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还 可 以 单 击 【Imitialize】 接 锂 米 改变 或 者 检查 网 络 的 初始 值 。 这 些 操作 痢 共 本 类 似 ， 读 者 
可 以 试 着 上 自己 完成 ， 限 于 箭 幅 ， 在 此 就 不 效 述 了 。 


11.3.1 “训练 网 络 


在 选中 Train 的 情况 下 ， 和 再 选中 Training Info 子 选项 ， 将 Inputs 
区 域 选 为 {。 此 时 得 到 如 图 11-7 所 未 的 Network: ANDNet 窗口 。 





区 虐 选 为 p， 将 Targets 


上 Network: ANDNet 











-jlxj 
View | inttialzs | Sinidlate， Train .| Adapt | weights 寺 
Traininginfo 十 TiainngParameters | Optonalnfo 上 
Traing Data Training Results 
Inputs p 可 | -Dupus 
Tagets [ 了 ] Enors 
Manager Close Train Network| 




















图 11-7 Network: ANDNet 窗口 





在 Training Results 中 ， Outputs 和 Errors 区 域 中 的 变量 ANDNet_outputs 
及 ANDNet_ emrors 命名 中 都 在 前 面 附 上 了 “ANDNet"， 这 样 的 命名 使 得 当 它 
们 被 导出 到 MATLAB 命令 行 工作 空间 中 时 能 很 容易 地 辨 列 出 来 。 





在 Network，ANDNet 窗口 中 单 击 Training Parameters ， 将 显示 出 “ 些 训 练 参 数 。 例 
如 ， 训练 步 数 、 误 养 日 标 等 。 同 样 ， 可 以 在 这 里 更 改 这 些 训练 参数 。 

在 Network，ANDNet 窗 门 中 单 击 Optional Info， 将 显示 出 另外 一 些 设置 ， 同 样 ， 可 

这 时 ， 单 击 Netwerk，ANDNet 窗 1 布下 方 的 【Train Netwo】 按 钮 ， 就 可 以 开始 网 
络 的 训练 。 训 练 过 程 如 图 11-8 所 示 。 


从 图 11-8 中 可 以 看 出 ， 网 络 在 6 个 时 间 步 长 时 就 完成 了 训练 ， 误 养 变 为 了 0。 








这 是 对 感 姑 器 网 经 而 言 的 ， 对 于 天 他 网 络 来 说 ， 通 常 是 不 能 将 误差 灾 为 
0 的 ， 甚 至 误差 范围 还 比较 大 。 在 那 种 情况 下 ， 就 不 能 像 在 这 里 一 样 在 线性 
再 标 图 上 绘 出 训练 过 程 ， 而 是 在 对 数 玲 标 图 上 绘 出 。 
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1.3.2 ”仿真 网 络 

















6Epochs 


图 11-8 训练 过 程 





下 面 使 用 输入 p 来 仿真 网 络 ， 测 试 其 经 过 训练 后 是 否 能 够 对 于 输入 p 以 0 误差 输出 。 
梧 到 Network/Data Manager 窗口 ， 单 击 TNetwork only: Simulate] 按钮 ， 弹 出 窗 ” Network; 
ANDNet， 再 单 击 Simulate。 


在 Inputs 右边 的 下 拉 列表 中 选择 p 作为 输入 ， 同 时 将 Outputs 


栏 中 的 变量 名 改 为 ANDNet_outputsSim， 以 便 与 训练 的 输出 相 区 分 - 单机 窗口 右 下 角 的 


【Simulate Network】 按 钮 ， 











回 到 NetworkyData Manager 窗 说 ， 将 会 看 到 在 Outputs 区 域 中 





有 一 个 新 的 变量 ANDNet_outputsSim。 双 击 这 个 变量 ， 将 会 弹出 一 个 新 的 窗口 Data: 


ANDNet_outputsSim， 如 图 11-9 所 示 。 





Manager Cantel 于 ok 
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从 图 11-9 中 可 以 看 出 ， 


图 11-9 仿真 输出 
网 络 的 仿真 输出 结 昌 正好 实现 了 “与 ”的 张 能 。 
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11.4 将 数据 导出 到 命令 行 工 作 空间 中 


可 以 将 网 络 的 输出 及 误差 导出 到 MAILAB 命令 行 工作 空间 中 。 在 Network/Data 
Manager 窗口 右边 的 Dutputs 和 Errors 区 域 中 可 以 看 到 网 络 ANDNet 的 输出 和 误差 。 单 击 


【Export】 按 钮 ， 将 会 弹出 一 个 新 的 窗口 ，Bxport or Save from Networky/Data Manager， 如 
图 11-10 所 示 。 














Select Variables - 








Select one of more Yariables. Then [Expo 嘲 如 evariables 
加 轨 e NE Workspace or [Sayejthemtoa 0 


SelectAl | Seiec None Cancel | 薄 


图 11-10 导出 或 保存 窗口 


在 这 个 窗口 中 ， 列 出 了 刚才 建立 的 网 络 及 相关 的 变量 。 可 以 在 其 中 选择 需要 导出 到 
MATLAB 命令 行 工作 空间 的 变量 。 

单 击 ANDNet_outputs 及 ANDNet_errors， 使 它们 被 选中 ， 然 后 单 击 【Export】 按 钮 。 
这 两 个 变量 就 会 在 MATLAB 命令 行 工作 空间 中 出 现 。 这 可 以 通过 下 面 的 方法 来 验证 : 
到 MATLAB 命令 行 状 态 下 ， 输 入 who， 就 能 够 显示 出 这 些 变量 ， 结 打 如 下 : 


who 





























瑟 














Your variables are: 
ANDNet erors 。 ANDNet_outputs 
可 以 进一步 输入 ANDNet_outputs 和 ANDNet errors 来 显示 出 它们 的 值 。 
ANDNet_ outputs = 
0 0 0 1 
ANDNet_erors = 
0 0 0 0 
使 用 同样 的 方法 ， 将 变量 p、t 和 ANDNet 导出 到 MATLAB 命令 行 工作 空间 中 。 同 样 
也 可 以 使 用 who 来 显示 出 这 些 变量 。 
who 
Your variables are: 


ee 了 了 30 mm 
aaa 
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ANDNet ” ANDNect_errors ”ANDNetoutputs 扩 上 
既然 网 络 ANDNet 已 经 被 导出 到 了 MATLAB 命令 行 上 作 空间 中 ， 那 么 ， 就 可 以 得 到 
网 络 的 权重 矩阵 。 输 入 命令 : 
ANDNetiw{L1} 
于 是 可 以 得 到 权重 为 : 
ans= 
了 
样 ， 可 以 得 到 网 络 的 阔 值 ， 答 入 命令 : 
ANDNetb{1i 
可 以 得 到 阔 值 为 ; 
ans= 
-3 


本 





忆 


115 清除 数据 


有 时 ， 需 要 将 图 形 用 户 接口 中 的 其 些 数据 清除 卸 。 可 以 在 Network/Data Manager 窗口 
中 单 击 需 要 清除 的 变量 ， 使 其 被 激活 ， 然 后 单 击 窗口 右 下 方 的 【Delete】 按 钮 ， 这 个 变 基 
就 会 被 删除 。 逐 个 选中 变量 ， 并 把 它们 部 删除 措 ， 这 样 就 志 以 清除 图 形 用 户 界面 工作 空间 
中 的 数据 。 

当然 ， 更 快 的 办 法 是 退出 MATLAB， 然 后 重新 进入 ， 重 新 在 命 令 行 中 输入 pptool， 
进入 图 形 用 户 界 商 。 





“清除 图 形 用 户 容 画工 作 空间 的 数据 并 不 影响 到 那些 已 经 被 导出 到 
MATLAB 命令 行 工作 空间 的 数据 . 即使 是 关闭 了 Network/Data Manager 窗口 ， 
它们 还 是 在 命令 行 工作 空间 中 存在 。 








也 


11.6 ”从 命令 行 工 作 空间 中 导入 数据 


前 面 介 绍 了 将 数据 导出 到 命令 行 工作 空间 的 方法 ， 现 在 讨论 将 数据 从 命令 行 工作 空间 
中 导入 图 形 用 户 接口 工作 空间 的 方法 。 
为 了 简化 步骤 ， 我 们 运 山 MATLAB， 然 后 重新 进入 。 在 命令 行 中 输入 nntool 重新 进 
入 图 形 用 户 接 D 。 
在 MATLAB 命令 行 中 定义 - 个 变 蔓 : 
r=[0)12:31 
T= 


0 





mb 一 


了。 wrapen 
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回 到 NetworkData Manager 窗 贞 ， 单 击 【Import】 按 钮 ， 将 弹出 -人 新 的 窗 员 .Import 
or Load to Network/Data Manager。 设 置 Source 为 Import from MATLAB workspace， 并 选 
择 变 量 nr， 设置 目标 变量 名 也 为 r， 和 需要 注意 的 是 ， 这 丙 个 r 处 于 不 同 的 工作 空间 中 ， 代 表 
着 不 同 的 变量 . 在 Import 区 域 中 选中 Inputs 选项 。 这 时 得 到 如 图 11-11 所 示 的 窗口 。 









Inport or Load t 


Source Destination 
全 Importfrom MATLAB workspace Name 
广 LoadfWom diskfle 
ImpotAs: 
和 
人 Inputs 
CTargets 





广 Iniial input States 
CIniiial Layer Siates 
COulputs 
ES 


Cancel Import 











网 11-11 到 入 数 撕 窗口 


单 击 此 窗 员 的 【Import】 技 钮 ， 就 将 此 数据 导入 到 了 图 形 用 户 接口 工作 室 间 中 。 此 时 ， 
在 NetworkData Manager 窗 门 中 能 够 看 到 新 导入 的 数据 r, 





在 图 11-11 显示 的 Import or Load to NetworlyData Manager 窗口 中 ， 有 一 
个 选项 Load from disk file， 下 面 可 以 指定 地 址 。 这 说 明 不 但 可 以 从 命令 行 工 
作 空 间 中 导入 数据 ， 还 可 以 从 存盘 文件 中 导入 数据 。 这 项 操作 将 在 下 一 节 介 
绍 。 








11.7 变量 存盘 与 读 取 


在 图 形 用 户 接口 工作 空间 中 定义 的 变量 可 以 以 MAT 文件 的 形式 保 在 下来， 以便 丁 在 
以 后 需 些 处 理 时 ， 能 够 志 将 其 读 出 。 下 面 简单 地 介绍 一 下 这 一 过 程 。 

首先 进入 NetworlvData Manager 窗口 ， 建 立 一 个 新 的 网 络 ， 这 里 只 央 单 击 【New 
Network]】 按 包 . 将 这 个 新 的 网 络 命名 为 mynet,， 然后 单 击 【Create ] 按钮 ， 于 号 网 络 名 mynet 
将 会 出 现在 NetworkyData Manager 窗 L 中 。 

下 面 保存 这 个 网 络 。 单刷 【Export] 按钮 ， 将 会 弹出 一 个 新 的 窗口 : Export or Save from 
Network/Data Manager。 在 这 个 窗口 的 变量 列表 沾 选 择 mynet， 并 且 单 击 窗口 女 下 角 的 
【Save】 按钮 。 

此 时 ， 保 存 窗 记 弹出， 选择 保存 路 径 和 文件 名 〈mynetfile)， 就 可 以 将 选 定 的 网 络 保 
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神经 网 络 工具 箱 提供 了 -- 套 可 以 在 SIMULINK 中 用 来 建立 网 络 的 模块 ， 对 于 在 
MATLAB 工作 空间 中 建立 的 网 络 ， 也 能 够 使 用 冰 数 gensim 来 生成 一 个 相应 的 SIMULINK 
版 的 网 络 。 


12.1 模块 的 设置 


在 MATLAB 命令 行 中 输入 以 下 命令 ， 就 能 够 得 到 神经 网 络 工具 箱 的 模块 窗口 : 
Library: neural， 如 图 12-1 所 示 。 
Neural 

















也 团 加 


Transfef Functions 。 Net nput Funetions 。 Weight Functions 




















一 


好 








由 
Control Systems 


Neural Netwo 骨 Toolbox Block Library 
Copyight (9) 1992.1999 by The MathwWols, Ine 





图 12-1 神经 网 络 工具 箱 组 件 窗口 


从 图 12-1 可 以 看 出 ， 神 经 网 络 工具 箱 中 包含 了 四 个 模块 。 其 实 ， 在 MATLAB 5.3 对 
应 的 神经 网 络 工具 箱 NN Toolbox 3.0 中 只 有 三 个 模块 ， 而 MATLAB 6.5 对 应 的 神经 网 络 工 
具 箱 NN Toolbox 4.0.2 增加 了 一 个 模块 ， Control Systems。 

对 于 上 面 的 四 个 模块 ， 每 一 个 又 都 包含 了 一 些 附 加 的 模块 。 


12.1.1 “传递 函数 模块 





双击 Library，neural 窗口 中 的 Transfer Functions 模块 ， 将 弹出 一 个 新 窗口 ，Library， 
neural/Transfer Functions， 其 中 包含 了 一 些 传递 函数 模块 ， 如 图 12-2 所 示 。 








一 一 4_MATLAB 65 畏 且 神经 网 络 分 析 与 设计 























疼 12-2 传递 元 数 模块 窗口 


在 图 12-2 中 ， 每 一 个 模块 都 能 够 接受 一 个 网 络 输 入 向 量 ， 并 且 相 应 地 产生 一 个 输出 


向 量 ， 这 个 输出 向 量 的 维 数 和 输入 向 量 相同 。 
12.1.2 网络 输入 模块 





双 式 
neuralNet Input Func 


右 Library: neural 窗 贞 中 的 Net Input Punctions 慌 块 ， 将 弹出 “个 新 窗口 : Library: 


中 包含 了 两 个 网 络 输入 函数 模块 ， 如 图 12-3 所 示 。 





tions， 其 











图 12-3 网 络 输入 范 数 模块 窗口 


企图 12-3 中 ， 每 一 个 模块 部 能 够 接受 任意 数 月 的 加 权 输 入 向 量 、 加 权 的 层 输出 向 量 ， 


以 及 阔 值 向 量 ， 并 且 返 
12.1.3 ”权重 模块 





一 个 网 络 输入 向 景 。 


加 











双击 Library:neural 窗口 中 的 Weight Functions 模块 ,将 弹出 一 个 新 窗口 :Library:neural/ 


Weight Functions， 其 


242 





重 函 数 模块 ， 如 图 12-4 所 示 。 
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在 图 12-4 中 ， 每 个 模块 都 以 一 个 神经 元 权 中 向 量 作为 输入 ， 并 将 其 与 “个 输入 向 量 
(或 者 是 某 一 层 的 输出 向 量 ) 进行 运算 ， 得 到 神经 元 的 加 权 输 入 值 。 





上 上面 的 这 些 模块 需要 的 权重 向 量 必须 定义 为 列 向 量 . 这 是 因为 SIMULINK 
中 的 信号 可 以 为 列 向 生 ， 但 是 不 能 为 既 阵 或 者 行 向 量 。 








另外 ， 止 是 电 于 上 述 的 原因 ， 在 将 -个 权重 矩阵 加 到 “个 具有 S 个 神经 元 的 网 络 层 上 
时 ， 必 须 生 成 3 个 权重 函数 组 件 。 


12.1.4 “控制 系统 模块 








双击 Library: neural 窗口 中 的 Control Systems 模块 , 将 弹出 一 个 新 窗口 : Library: neural/ gs 
Control Systems， 甚 中 包含 了 四 个 控制 系统 模块 ， 如 图 12-5 所 示 。 
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网 12-5 控制 系统 模块 


控制 系统 模块 是 MATLAB 6.5 对 应 的 神经 网 络 工具 箱 NN Toolbox 4.0.2 新 增加 的 内 
容 ， 使 得 神经 网 络 控制 的 MATLAB 设计 变 得 更 加 容易 。 

图 12.5 中 的 四 个 控制 系统 模块 中 ， 有 三 个 是 控制 器 ， 剩 下 的 “个 是 示波器 。 关 于 在 
神经 网 络 中 这 三 个 控制 器 的 使 用 ， 将 在 下 “ 节 专门 介绍 . 


12.2 ”模块 的 生成 


使 用 冰 数 gensim 能 够 在 MATLAB 命令 行 中 对 一 个 网 络 生成 其 模块 化 撒 述 ， 这 使 得 我 
们 能 够 在 SIMULINK 中 对 网 络 进行 仿真 。 
gensimtnctst) 
gensim 胃 数 的 第 一 个 参数 指定 了 需要 生成 模块 化 描述 的 网 络 ， 第 一 个 参数 指定 了 采 
样 时 间 ， 它 通常 情况 下 为 某 个 正 的 实数 。 
如 果 网 络 没有 与 输入 权 生 或 者 层 中 权重 相关 的 延迟 ， 则 指定 第 一 个 参数 为 一 1。 - 且 
第 二 个 参数 为 二 1， 那么 函数 gensim 将 生成 :个 连续 采样 的 网 络 。 
下 而 举 -个 简单 的 例子 来 介绍 其 用 法 。 
首先 ， 在 MATLAB 命令 行 中 定义 网 络 的 输入 P 和 相应 的 日 标 坟 
b=[123435]; 
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El13579]; 
然后 ， 使 用 渍 数 newlind 来 设计 “个 线性 网 络 来 解决 这 个 问题 。 
net=newlind(p.t 
接 上 来 ， 使 用 琢 数 sim 来 测试 网 络 ， 输 入 数据 为 诛 始 的 数据 。 
y=Simfnetp) 
在 MATLAB 命令 行 中 档 得 到 如 下 的 结果 。 可 以 看 出 ， 网 络 已 经 止 确 地 解决 了 问题 。 
y= 
1.0000 3.0000 5.0000 7.0000 90000 


调用 前 数 gensim 牛 成 上 述 网 络 的 SIMULINK 版 本 . 
Gensimtnet-TD) 

上 述 命令 中 的 第 一 个 参数 一 1 指定 了 将 牛 成 “个 连续 采样 的 网 络 模块 。 

调用 函数 gensim 后 ， 将 牛 成 一 个 新 的 密 口 。 在 这 个 窗口 中 包含 有 一 个 线性 网 络 的 仿 
这 个 线性 网 络 血 接 F 了 个 采样 输入 和 “个 示波器 ， 如 图 12-6 所 示 。 

其 中 线性 网 络 值 使 用 -个 模块 代替 ， 并 没有 其 体 地 显示 出 其 区 络 结构 。 如 果 想 得 到 关 
士 此 网 络 结构 的 更 多 信息 ， 可 以 双击 此 网 络 ， 这 叶 将 弹出 “个 新 的 窗口 ， 绘 出 了 此 网 络 的 
结构 ， 如 钨 12-7 所 示 。 旭 果 这 个 结构 图 还 不 够 具体 ， 不 能 满足 要 求 ， 还 可 以 进一步 在 其 
基础 上 发 击 需 此 详细 了 解 的 部 分 。 此 时 ， 将 继续 弹出 新 的 窗口 ， 在 此 新 窗 - 中 出 现 了 刚才 
单 击 部 分 的 更 详细 的 结构 ， 如 图 12-8 所 示 。 这 样 -直下 去 ， 直 到 出 现 的 窗口 为 属性 设置 
窗口 为 止 ， 如 立 12-9 所 示 邮 为 mput 1 模块 的 局 性 设置 窗口 。 在 属性 设置 窗 11 小 ， 可 以 改 
变 网 络 的 革 些 属性 信 ， 通 过 这 种 方法 ， 来 更 改 此 网 络 。 
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图 12-6 使 用 gensim 生成 的 网 络 模块 
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图 12-8 双 上 出 网 络 层 后 得 到 的 详细 网 络 结构 
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网 129 [Input l 模 趟 的 属性 设 壮 窗口 





络 的 nput 1 模块 实际 上 足 一 个 标准 的 常量 模 岂 . 在 岁 12-9 所 示 的 窗 1 1 路 将 Constant 
value 区 域 的 值 由 初始 时 的 随机 值 改 为 2， 然 后 单 击 【OK】 按 钮 。 
可 到 图 12.6 所 示 的 窗口 ， 在 【Simulation】 菜 单 下 选择 【Start】 菜 单项 ， 便 开始 在 
SIMULINK 中 对 网 络 进行 仿真 

为 了 观察 结果 ， 可 以 双 让 窗口 中 的 示波器 yt1}， 此 时 ， 将 弹出 一 个 新 的 窗口 ， 显 示 
了 输出 信号 的 波形 ， 如 图 12-10 所 示 。 




















芯 12-10 输出 信号 的 波形 
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从 图 12-40 中 可 以 看 出 ， 输 出 为 3， 这 与 我 们 在 MATLAB 命令 行 中 使 用 函数 sim 得 
到 的 结业 - 致 的 。 

F 面 还 有 两 项 工作 没有 完成 ， 由 于 这 些 操作 基本 类 似 ， 本 处 就 不 再 歼 述 了 ， 有 兴趣 的 
恋 者 串 以 试 着 自己 完成 。 

1. 改变 输入 信和 号 

在 标准 SIMULINK 的 Source 模块 中 选择 -个 倍 号 发 牛 器 模块 ， 用 来 代 蔡 木 俩 中 的 党 
量 和 输入 模块 。 重 新 仿真 这 个 新 的 网 络 ， 观 察 网 络 的 响应 。 

2， 离散 的 采样 时 间 
重新 建立 网 络 ， 这 次 使 用 离散 采样 时 间 0.5， 而 不 再 使 用 前 面 的 连续 采样 时 间 ， 于 是 
有 上 下 而 的 命令 : 

gensimtnet0.5) 

再 一 次 使 用 信号 发 生 器 模块 来 代 蔡 常 量 输入 模块 ， 对 设计 的 网 络 进行 仿真 ， 观 察 网 络 
的 响应 。 
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第 13 章 


一 般 情 况 下 ， 在 实际 应 用 中 ， 使 用 前 而 介绍 的 MATLAB 工具 条 函数 就 足以 设计 出 所 
需 的 神经 网 络 。 但 是 ， 对 于 某 些 特定 的 天 要， 往往 希望 定制 网 络 ， 成 阁 殴 望 得 到 更 多 的 功 


一 
5 


高 级 


话 题 


能 ， 或 考 希 望 定 制 函 数 。 本 章 就 基 丁 这 些 需 求 介绍 这 些 内 容 。 
本 章 十 要 讲述 以 下 内 容 : 


生 定制 网 络 
里 ”附加 的 工具 箱 函 数 
曙 定制 函数 


神经 网 络 工具 箱 被 设计 成 允许 使 用 多 种 网 络 ， 这 使 得 很 多 函数 能 使 用 相同 的 网 络 对 象 


13.1 定制 网 络 


数据 类 型 。 所 有 的 标准 工具 箱 网络 生成 范 数 如 上 龙 13-1 所 示 。 


函 蒜 名 称 


表 13-! 标准 工具 箱 网 络 生成 函数 
























































功能 
newc 咎 成 一 个 竞争 
newcf 生成 “个 前 疝 乒 枉 BP 网 络 
newlm 生成 一 个 Flman BP 网 络 
new 位 生成 “个 前 锁 BP 网 络 
mewffed 生成 _ 个 前 馈 输入 延 时 BP 网 络 
newgrmn 设计 一 个 泛 化 锡 困 归 网 络 
newhop 生成 一 个 Hopfield 车 归 网 络 
newlin 生成 “个 线性 网 络 
newlind 设计 “个 线 忻 网 络 
newlvq 生成 一 个 学 习 户 最 虽 化 鸯 络 
newp 年 成 -个 同 知 器 
hewpna 设计 一 个 概率 神经 网 络 
new 中 b 设计 一 个 行 向 其 网 络 
mewrbe 设计 一 个 精确 的 行 向 基 网 络 
hewsom 生成 个 白 组 织 映 射 网 络 
由 士 对 于 网 络 有 -个 面向 对 象 的 去 示 ， 因 此 ， 其 活 性 是 有 可 能 得 到 保证 的 。 这 种 表 


未 和 许 定义 本 同 的 结 





向 ， 同 时 ， 对 这 些 结构 也 允许 使 用 不 同 的 算法 ， 








Li &_MATLAB .6.5 辅助 神经 岗 络 分 析 与 设计 
我 们 从 一 个 空 的 网 络 开 始 来 生成 一 个 定制 的 网 络 〈 通 过 network 通 数 来 实现 )， 将 其 
属性 设置 为 所 震 的 属性 。 
Betwork 生成 个 定制 的 神经 网 络 
网 络 对 象 包含 很 多 属性， 我们 可 以 设置 这 些 属性 ， 使 其 适合 所 设计 的 隐 络 结 格 及 作用。 
下 面 的 部 分 效 示 了 怎样 使 用 这 些 属性 生成 一 个 定制 的 网 络 。 


13.1.1 定制 岗 络 





在 建立 一 个 网 络 之 前 ， 需 要 对 其 有 所 了 解 。 本 小 节 将 介绍 生成 一 个 复杂 的 网 络 的 方法 ， 
其 结构 好 图 13-} 所 示 。 
np Layers 1and 了 ayer 3 Bitputs 
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改 人 -1 网络 结构 

在 这 个 网 络 中 ， 对 手 第 “个 网 络 输 入 的 两 个 元 素 ， 每 “个 的 允许 输入 值 部 在 0-10 之 
间 ;， 对 于 第 二 个 网 络 输入 的 二 个 元 素 ， 人 每 - 个 的 允许 输入 值 在 一 22 之 间 。 
在 完成 设计 之 前 ， 首 先 需要 指定 其 使 用 的 初始 化 ， 以 及 训练 算法 。 
假设 每 -- 层 的 权重 及 伪 蚂 痢 使 用 Negnyen-Widrow 层 初 始 化 方法 (initnw》 来 进行 初始 
化 并 县 网 络 使 用 Levenberg-Marquardt 加 和 传 方法 (uaintm) 进行 训 练 ， 这 样 ， 给 定 - - 些 例 
子 作为 输入 向 量 ， 第 三 层 输 出 将 学 习 ， 并 以 误 莽 均 方 值 最 小 mse) 来 实现 对 民 标 向 量 进 
行距 本 。 


13.1.2 吏 络 定义 








首先 要 生成 -个 新 的 网 络 。 输 入 下 面 的 代码 ， 生 成 -个 新 的 网 络 ， 并 且 观 察 它 的 很 多 
属性 。 
et = nefWexk 
可 以 得 到 下 村 的 输出 显示 : 
nel = 
earal Nezwork object 
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So 


-:- 时 3s 下 4 IAATLARB 6G.Smmmmmm 
architecture: 
numInputs: 0 


numLayers: 0 

biasConnect': 上 

inputConnect [ 

IayerConnect 

outputConnect: [ 

rargetConnect: [ 

umOutpats 0 Cread-only) 

numTargets:0 (read-only) 

numInputDelays: 0 read-oniy) 
mumLayerDelays: 0 (read-only) 

SUbobject stmetufes: 

inputs: {Oxl cell} of inputs 

1ayers {Oxl ce of layers 

1x0 cellj cantaining no outputs 

{lx0 ceil] containing no targets 

biases: {Oxl cellj containing no biases 
inputWeights: {Ox0 celU| containing no input weights 
layerWeights: {Oxg cellj containing no layer weights 
functions: 





adaptFcn: (nane) 

initFcn: (none) 

pertormFen: (none) 

traipFcn: (none) 

Parameters': 

adaptParam': (none) 

jnitParam: (none) 

performParam: (none) 

teainParam: (none) 

weight and bias values: 

TW: {0x0 sell} containing no input weight matrices 
LW: {f0x0 ceDlj containing no fayer weight matrices 
习 fOxl cell} containing no bias vectors 


other': 
userdata: (user stutt) 
1， 结 构 属 性 
昌 示 的 第 一 组 属性 标识 为 结构 属性 。 这 些 届 性 允许 选择 输入 ， 以 及 层 的 数 月 ， 也 允许 
选择 它们 的 连接 ， 


1)》 验 入 及 层 的 数 日 
显示 的 前 两 个 属性 是 namlInputs 和 numLayers。 这 两 个 属性 允许 根据 网 络 需要 选择 输 
入 的 数 日 ， 以 及 层 的 数目 。 
Pet 三 
Neural Network object: 
archtitecture: 
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namInputs: 0 
numLayers: 0 


霜 以 看 出 ， 坝 在 网 络 没有 答 入 种 层 。 
根据 定制 网 络 的 再 要 ， 将 这 两 个 属性 估 改 为 需要 的 输入 及 层 的 数目 。 


Det.numInputs = 2; 


PetnumLayers = 3; 
需要 注意 ，netnumlnputs 是 输 入 源 的 数 日， 而 不 是 在 个 输入 向 量 中 的 元 素 的 数 日 
《net.inputs{ij.size)。 
2) 偏 轩 连接 
输入 net， 按 回 车 键 ， 再 次 观察 其 属性 。 现 在 网 络 有 两 个 输入 和 三 层 。 
pet = 
Neural Network object: 
achitecture: 





PumInpmtS: 2 
mumlLay 
biasConaect T0; 0; 0] 
inputConnest 100;00:00] 
layerConnect |000:000:0001 
outpurConnect: [000 
targetConnect 100 加 
pumOutputs: 0 (rcad-only) 
numTargets: 0 (Cread-only) 
mumInputDelays: 0 tread-only) 
pumLayerDelays: 0 (read-onl9) 





Subobject stractures: 

inputs: 12x1 celt} of inputs 

layers: {3xl celii of layerv 

outputs: {1x3 ceD} containing no Outputs 

targets: {1X3 cellj containing no targets 

biases: 13x1cell) containing no biases 
inputWeights; {3x2 cellj containing no input weights 
layerWeights: {3x3 ccllj containing no layer weights 
fanctions: 

adaptFcn: (none) 

initFcn: (nonc) 

PerformFen: (none) 

trainFcn: (nonc) 

paramerery: 

adaptPararn: (none) 

initparam: (nonc) 

PerformParam: (none) 

tratnParam: tnone) 

weight and bias values: 

TW: 13x2 celll containing no input weight matrices 
LW: (3x3 cell containing no laycr weight matrices 
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b: 13x1 cellj containing no bias vectors 
other 
aserdata: tuser sf 
注意 接 下 来 的 五 个 属性 ; 
biasConnect f0; 0; 位 
误 putCornecc I00:0000] 
layerConnect [000;00000 吉 
outputCormect: 100D0] 
targetConmnecc [0001 
这 些 出 0 和 1 组 成 的 矩阵 表示 了 偏 罚 、 给 入 权 和 更 、 层 和 & 重 、 输 出 ， 以 及 丹 标 这 接 是 否 
存在 。 它 们 现在 都 是 0， 这 意味 着 网 络 没有 任何 这 样 的 连接 。 
注意 到 偏 置 连接 矩阵 钙 - :个 3 乘 1 的 向 量 。 为 了 对 第 工 层 产生 个 偏 览 连接， 问 以 设 
置 netbiasComnect(i) 为 1， 根据 我 们 的 需要 ， 第 “ 层 和 第 二 层 具 有 偏 置 连接 ， 可 以 如 下 所 
示 输 入 这 些 属 性 : 
met.biasConnect(ty = 1 
net.biasConnect[3) = ji 
其 实 岂 可以 志 一 行 代码 来 完成 这 些 连 接 的 定义 ， 刀 下 所 示 : 
PetbiasCornmect= fi 9; 二 
3) 输入 及 层 的 权重 连接 
输入 连接 扼 阵 是 -- 个 3 琵 2 的 抵 阵 ， 它 表示 从 两 个 源 端 (两 个 输入 ) 到 三 个 目的 站 
个 层 ) 之 问 的 连 赚 。 这 样 ，netinputConnect(ij) 就 表示 了 从 第 了 个 输入 到 第 字 层 之 间 的 
为 了 连接 第 … 个 输入 到 第 一 层 ， 以 及 第 一 个 输入 到 第 二 层 〈 如 前 而 图 13-1 中 所 示 的 
捕 形 )， 可 输入 下 面 代码 : 
PetjnputConmectl ,1)=1i 
met-inpatConnect2.D= 计 
netinputConnect(2,2)= 1 
或 者 输入 十 面 的 一 行 代码 : 
netLinputCormect=i1 0 1 001; 
类 似 地 ，netlayerConnectG 有 表示 了 -个 从 第 二 层 连 接 到 第 让 层 的 层 民 重 连 接 。 技 照 如 
下 的 方式 连接 第 1、2 层 ， 以 及 第 3 层 到 第 4 层 。 
BetlaycrConnect=I000:0001TT 1 
4》 输出 及 月 标 连 接 
输出 和 月 标 连 接 抢 阵 都 是 ! 乘 3 的 矩阵 ， 这 意味 着 它们 从 三 个 源 端 〈 二 个 层 ) 轿 搂 到 
一 个 月 标 〈 外 部 谤 办 )。 
轿 接 第 2 层 和 第 3 层 到 网 络 输 出 ， 得 入 王 商 的 代码 : 
petOutputConnect=iI0 1 1 _ 
给 定 第 3 层 … 个 目标 连接 ， 输 入 下 面 的 代码 ; 
nettargetComnect=[00 1 
第 3 层 目标 与 第 3 层 输出 比较 ， 产 生 
调整 中 更 新 网 络 时 ， 需 要 使 用 这 个 误差 信号 。 
现在 ， 验 入 net 命令 ， 再 次 观察 网 络 的 属性 信 : 
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pet = 


Neural Network ohject: 
archjtecture: 
numinputs: 2 
mumLayers: 3 
biasConnecc [1 0: 1 
inputConnect [1 0:11;00 
jayerConnecc 上 000001110 
outputConnect [0 1 3] 
targetConnect: [00 11 
mmOutputs: 2 《read-onty) 
numTargets: 1 (read-only) 
numInputDelays: 0 (read-only) 
namLayerDelays: G tread-only) 
Subobject stmuetures: 
inputs: {2xl cellj ofinputs 
jayers: {3Xl celll of jayers 
outputs: {1x3 cell} containing 2 outputs 
targets: {1X3 celi} containing 1 target 
biases: {3xl cell} containing 2 biases 
jnputWeights: 13x2 celt containing 3 input weights 
layerWeights; {3x3 cell] containing 3 layer weights 
fanctions; 
adaptFcn: (none) 
initFecn: (none) 
pcrformFen: (none) 
trainFcn: (none) 
Parameters: 
adaptParam: (none) 
initPararm: (nonc) 
performparam: (none) 
trainParamm; (none) 
weight and bias values: 
TYW: {3x2 cel} containing 3 ipput weight matrices 
LW: {3x3 cel] containing 3 layer weighr marrices 
b: 13xl cellj containing 2 bias vectors 
other: 
serdata: (uscr stufD) 
可 以 看 到 ， 相 应 的 属性 值 发 生 了 变化 。 网 络 的 偏 置 连接 、 输 入 连接 、 居 连 接 、 输 出 连 
搂 、 日 标 连 接 均 为 设 定 债 。 网 络 输 出 的 数目 为 2， 网 络 目标 数 日 为 1。 
2， 和 输出 及 目标 数目 
输入 net 并 且 按 四 车 键 ， 可 以 看 到 这 些 更 新 了 的 属性 其中， 最 后 殉 个 结构 属性 是 只 
读 的 ， 这 就 意味 着 它们 的 值 龙 巾 我 们 选择 的 其 他 局 性 的 值 来 确定 的 。 前 晤 两 个 只 读 属性 其 
有 如 下 值 : 


mmoutputs: 2 (tead-only) 
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nanmtTargets: 1 《read-only) 
通过 定义 来 自 第 2 层 和 第 3 居 的 答 册 连接 ， 以 及 来 自 第 3 层 的 目标 连接 ， 可 以 指定 网 
络 具 有 两 个 输出 和 一 个 目标 。 
3. 也 对 象 属 性 
接 下 来 的 -组 属性 是 : 


subobject stmctures: 
inputs: {2xl cell) ofinputy 
layers: [3xl cell of ayers 
outputs: {1X3 cell ] containing 2 outputs 
targets: {1x3 cell} containing Target 
biases: f3x1 cell containing 2 biases 
inputWeights: {3x2 cellj containing 3 input weights 
layerWeights: {3x3 cell) containing 3 layer weights 
4.， 输入 
在 将 输入 数目 《netnuminputs) 设置 为 2 时 ， 答 入 属性 变 成 了 一 个 细胞 数组 ， 它 具有 
两 个 输入 机 构 。 每 个 第 计 个 输入 结构 〈netinputsti}) 包含 另外 的 属性 ， 它 与 第 让 人 输入 有 
关 。 
输入 如 下 的 代码 ， 可 以 看 到 输入 结构 是 怎么 组 织 的 : 
Det-jnputs 
得 到 如 下 的 结果 : 
ans = 
Tixl stmuct 
Daxlstmcq 
为 了 观察 与 第 -个 输入 相关 的 属性 ， 本 输入 如 下 代码 : 
metinputsfl} 
显示 出 如 下 的 属性 值 ; 
ans = 
range: [01] 





size: 1 
userdata [lxt strucd 
注意 到 范围 属性 只 有 -- 行 。 这 意味 着 输入 只 有 - -个 元 素 ， 其 值 的 范围 从 0 一 1。 size 
属性 也 指出 输入 只 有 - -个 元 素 。 
定制 网 络 的 筑 - -个 输入 向 量 有 两 个 元 素 ， 其 变化 范围 从 0 一 10。 用 下 面 的 方法 改变 这 
个 范围 属性 ， 以 达到 指定 的 要 求 。 
Detinputst1j.range = [0 10; 0 101， 
如 果 再 次 检查 第 一 个 输入 的 结构 ， 可 以 看 到 现在 它 具 有 正确 的 大 小 ， 它 是 从 新 的 范围 
值 获取 的 。 
ans= 
range: [2x2 double] 
size: 2 
userdata: [Txt struct] 


将 第 二 个 输入 向 量 的 五 个 元 素 的 范围 设置 为 从 一 2 一 2， 如 下 所 泵 : 
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netinputs[2j .tange = [2 2; -2 2; -2 2; -22; -2 2 
5. 层 
当 我 们 把 层 的 数目 (netnumLayers) 没 兽 为 3 时 ， 层 属性 变 成 了 一 个 三 层 结 
数组 .输入 下 司 的 代码 ， 以 观察 与 第 “ 层 相 关 的 属性 。 
mellayersf1) 
可 以 得 到 ; 


ans = 





mensions: 1 
由 stanceFcn: ” 
distances: 中 
initFcn: initwb' 
netfnputFen: metsum' 
Positions: 0 
Size: | 
topologyFcn: hextop' 
transferFerc purelin' 
userdata': [ixl struet] 
根据 需要 定制 的 网 络 的 天 要 ， 和 输入 下 而 三 行 代码 ， 改 变 第 “ 层 的 大 小 为 4 个 神经 元 ， 
并 把 其 传递 函数 改 为 tansig， 把 其 初始 化 昂 数 设 为 Nguyer-Widrow 疼 数 。 
metlayers{1] .size = 小 
neLlayers{LjtransferFcn = ansig' 
netlayersf11.initFcn = "initnw' 
第 : 层 将 具有 3 个 神经 元 ， 使 用 logsig 传递 函数 ， 并 且 用 initnw 进行 初始 化 。 这 样 ， 
可 以 用 如 下 所 示 的 代码 进行 第 一 层 属性 的 设 次 。 
netlayers{2} size = 3; 
netlayers{2j.UansferFen = dogsig' 
netlayers[2}.jnitFcn = 'initmw'， 
第 三 层 的 大 小 ， 以 及 传递 函数 局 性 不 需要 改变 ， 因 为 其 所 需 的 值 止 好 与 默认 值 相同 。 
只 需要 设置 其 初始 化 函数 ， 如 下 所 示 : 
netlayers{3].initFcn = initmnw'; 
这 时 ， 网 络 相应 的 层 属性 如 下 所 示 。 
第 一 层 : 


ans 一 





















由 mensions: 4 

出 stanceFcn: ” 
distances: [] 

initFcn: initnw” 
netlnputFcn: netsumy 
positions: [012 3] 
size: 4 

topologyFen; hextop' 
transferFcn: tansig' 
userdata: [1x] struct] 


er。 2 人。 mm 





dimensions: 3 
distanceFcn' 
distances: [] 


initFcn: initnw” 

netaputPcn: 'metsum' 

Positions: [0 1 2] 

Size: 3 

topologyFen: hextop 

transferFcn' togsig' 

Userdata: TIxl struct 
第 -一 层 ， 

ans = 

击 mensions: 1 

distanceFcn: ” 

distances: 上 

inijtPcn: initnw” 

netInPutRcn: netsum 

positions: 0 

Sizer 1 

topologyFcn: hextop” 

transferFen: purelin' 

mserdata: flxl struct| 


6 输出 及 目标 
输入 下 面 的 代码 ， 观 察 输出 属性 是 如 何 组 织 的 。 


netoutpnuts 
结果 为 : 
ans= 
D Doxa stmucg fixl stucd 


注意 到 输出 包含 了 两 个 输出 结构 体 ， 一 个 是 第 二 层 的 ， 
net.outputConnect 被 设置 为 [0 1 1] 时 ， 这 种 组 织 方式 就 月 动产 生 了 。 


用 下 面 的 代码 来 观察 第 二 层 的 输出 结构 。 
net.outputs{21 
得 到 结果 如 下 : 
ans = 
Size: 3 
userdata: [1x1 struct] 


当 第 二 层 大 小 《netlayers{2j.size) 设置 为 3 时 ，size 参数 自动 设置 为 这 个 值 。 如 果 需 
要 证 实 这 - -点 的 话 ， 可 以 观察 第 三 层 的 输出 结构 体 ， 它 同样 具 食 正确 的 大 小 。 
类 似 她， 目标 包含 了 一 个 结构 体 ， 它 表示 了 第 三 层 的 月 标 。 输 入 下 而 的 两 行 代码 ， 可 


以 看 到 日 标 是 怎样 组 织 的 ， 同 时 也 可 以 看 到 第 二 层 的 目标 属性 。 


nettargets 





可 以 得 到 如 下 的 结果 : 
ans= 
D 口 flxtl stmed 
输入 : 
mettargets{31 
得 到 ， 


ans = 
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size: 1 

userdata: [1xl struct] 
7， 偏 填 、 输 入 权重 ， 以 及 层 权时 
输入 下 面 的 代码 ， 可 以 看 到 偏 填 和 权重 结构 体 是 怎样 组 织 的。 
输入 : 

Det.biases 
得 到 : 


ans= 


性 














[lxl struct 
[| 
Ilx] struct] 
和 输入: 
metinputWeights 
得 到 : 
ans = 
Tlxl struet 0 
[bd smucd [lxl stmucg 
儿 [ 
输入 : 
netlayerWeights 
短 到 : 
ans= 
了 D 曲 
全 全 吕 
[Lxl struct] [1xl struct] [lxl struct] 
检查 这 些 结果 ， 可 以 发 现 每 个 结果 都 包 食 了 一 个 结构 体 ， 其 所 在 的 地 方 相应 的 连接 
CnetbiasConnect、netinputConnect 和 netlayerConnect) 包含 了 一 个 1。 
使 用 下 面 的 代码 来 观察 它们 的 结构 。 
>>netbiasest11} 
ans= 
initFcn: ” 
jearn: 1 
JeamFcn: ” 
leamParam: ” 
Size: 4 
userdata 11xl stmct 


7 
VPRPP 
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>> nectbiases{3)} 

ans= 

initFen: 

leam' 1 

TearmFcnz 

learnParam:” 

size: 1 

userdata: [lxl structl 

>> netinputWeightsf1,11 
ans = 
delays: 0 
initFenz " 
leam: 1 
leamFcn: 
leamParam 
size: [4 人 
userdata: [1xl strucH] 
weightFen: dotprod 

>> nctinputWeightsf2,1} 


ans = 
delays: 0 

jnitFcn: ” 

jearn: 1 

1earmFcn: 

learnParam: ” 

size: [3 3] 

userdata: [1X1 struct 
weightFen: "dotprod' 

>> netinputWeights{2,21 
ans = 

delays: 0 

initFcn: ” 

learn: 1 

learnFcm: 

learmPararm: 

Size; [3 4 

userdata: L1X1 struct] 
weightFcn: "dotprod 

>> net.layerWeights{3,1) 
ans 一 

delays: 0 

initFcn: 

learmn: 1 

learmFcn 

learnPararn: 

size: [1 4 


257 
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userdata: [1xl struct| 
weightFcn: 'dotprod 
>> netlayerWeights{3.21 
ans = 
delays: 0 
initFcn: ” 
leam: 1 
learnFcn:” 
learnParam:“ 
size: fl 3] 
userdata: [1x1 smct] 
weightFcn: "dotprod' 
>> net,layerWeights{3,31 
ans = 
delays: 0 
initFcn: 
Jearn: 1 
jearmnFcn: 
learnParam: 
size: [1 人 
userdata: [1x1 structl 
weightFcn: dotprod 
根据 需要 定制 的 网 络 ， 通 过 设置 舒 个 权重 延 对 属性 ， 可 以 指定 权重 疱 时 线 。 
meLinputWeights{2,1j.delays = O il; 
metinputWeights{2.21.delays = 1 
metlayerWeights{3.3}.delays = 1; 


8， 网 络 函 数 
再 次 输入 net 命令 ， 观 察 接 下 米 的 属性 : 


如 netions: 
adaptFen: none) 
initFcn: (none) 
performEFcn: none) 
frainFcn: (none) 
每 - -个 这 样 的 属性 都 定义 了 -个 基本 网 络 操作 的 函数 。 
设置 初始 化 函数 为 initlay， 这 样 网 络 根据 层 初始 化 函数 来 初始 化 自 身 ， 而 层 初 始 化 函 
数 就 是 岂 经 设置 为 nitmw 的 Nguyen-Widrow 初 始 化 函数 。 
neLinitFcn = "initlay ; 
这 就 完成 了 需要 的 初始 化 工作 。 
按照 定制 网 络 的 最 终 需要 ， 设 置 性 能 阔 数 为 mse《〈 均 方 误差 ) 并 且 设 置 训练 函数 为 
trainlm 〈Levenberg-Marquardt 回 传 )， 
netperformFcn = mse'; 
nettrainFcn = trainlm 
这 时 ， 相 应 的 网 络 函 数 局 性 变 为: 


fanctons: 














7 
aaa 





adaptFcn: (none) 
initFcn: initay” 
perormFcn: mse' 
trainFcn: traintm 


9. 权重 及 偏 告 值 
在 初始 化 和 训练 网 络 之 前 ， 观 察 -下 最 后- 组 网络 属性 〈 除 了 userdata 属性 之 外 )- 


weight and bias values: 





ITW: {3x2 cell} containing 3 input weight matrices 
LW: {3x3 cellj containing 3 Jayer weight matrices 
b: {3xt cell] containing 2 bias vectors 
这 些 缁 胞 数组 在 某 些 的 位 置 包含 了 权重 矩 泗 和 偏 置 向 景 ， 这 些 位 曾 〈 即 连接 属性 ) 
《net.inputConnect 、 netIayerConnect 、 netbiasConnenct ) 包含 1， 以 及 子 对 象 属 性 
(peLinputWeights、netlayerWeights 、net.biases ) 包含 结构 体 的 位 置 。 
运行 下 面 的 代码 ， 可 以 看 到 所 有 的 偏 置 向 量 和 权重 矩阵 均 为 0。 
neLIW{LT) 
netIW12.0 
netLIWfT2.2] 
netIWT3,11 
neLLW13.2 
neLLW13,31 
metLbf1l1 
netbf3} 
每 个 输入 权重 neLTW [ij}、 语 权 要 
Cnetiayers{i}.size) 大 小 -- 样 的 行 数 。 
每 个 输入 权重 netIWfi)} 的 列 数 与 第 个 输入 CneLinputsfjjsize) 乘 以 其 延 时 数 日 
CiengthCnetinputWeights{fijj-delays)) 相合. 
同样 地 ， 每 层 的 权重 其 列 数 与 第 ) 层 的 大 小 〈netlayersfjj.size) 情 以 其 延 时 数 日 
《length(net.layerWeights{ijj.delays)) 相间 。 
这 时 ， 使 用 net 命令 ， 网 络 属性 变 为 
net= 
NeuralNetworkobjeer 
architecture; 
numInputs:2 
PutmLayers:3 
biasConneet[1:01 
inputConnectfT10:11;00] 
jlayerCoennect[000:000;111) 
outputCommect[O1 
targetConmnect[001] 
rmOutputs:2(read-only) 
numTargets: 1。 Cread-only) 
numinpuiDelays: 0 (read-only) 
aumLayerDelays: 0 (read-only) 








姓 


neLLWf{)， 以 及 仿 署 向量 nelb 儒 都 有 与 第 诗 层 


gd 


13.1.3 





subobject structurev: 
inputs: {2x1 celll of inputs 


layers: {3xl celj of layers 

outputs: [1x3 cell} containing 2 oucputs 

targets: flLx3 cellj centaining 1 target 

biases: {3xl celll containing 2 biases 
inputWeights: {3x2 cell] containjng 3 input weights 
1ayerWeights; (3x3 ce containing 3 layer weights 
functions: 

adaptFcn: (none) 

initFcn: nitlay 

periormFcn: mse' 

trainFcn: trainlm 

parameters: 

adaptParam: (none) 

initParam: (none) 

periormParam: Cnone) 

trainPararm' .epochs, .goal .max_fait .mem_reduc, 
min_grad, mu, mu_dec, .mu_inc， 

.mu_max, .show, .fime 

weight and bias vatues; 

TIW: {3x2 cell containing 3 input weight matrices 
LW: f3x3 cellj containing 3 layer weight matrices 
b: (3xl cell} containing 2 bias vectors 

other 

Userdata: (user stuf) 


网 络 行为 


1. 初始 化 
用 下 面 的 代码 初始 化 网 络 。 


再 次 查看 网 络 的 偏 团 和 权重 ， 可 以 发 现 它们 产生 了 变化 。 


net= initonet) 


netIW{1.1 
netLTW{2.1) 
netTW{t2.21 
BeLIW{3, 1 
necLW{3.2} 
neLLW13,31 
netb 人 1 

poeLb{31 


得 到 人 下面 的 结果 ， 


>> neLIW{1.1] 
ans= 
0.4226 03674 


etgemmmm 人间 0 。 mm 
op 





GE 
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-0.4010 0.3909 
0.5186 -0.2113 
-0.0163 -0.5598 


>> netTW{2.1 
ans= 


0.6428 035839 -0.6475 0.8338 
-0.1106 08436 -0.1886 -0.1795 
站.2309 0.4764 0.8709 0.7873 
>> TeLIW{2,.21 
ans = 
-0.8842 -09803 -0.6026 -0.6024 -0.1098 
-0.2943 -0.7222 0.2076 -0.9695 0.8636 
0.6263 -0.5945 -0.4556 0.4936 -0.0680 
>> neLIW13.1 
ans= 
0 
>> netLLW13.21 
ans= 
Q3443 0.6762 -0.9607 
>> neLLW(331 
ans= 
03626 
> netbf 寺 
ans= 
-6.7502 
(0.9838 
-0.6032 
0.0803 
> netbf3) 
ans = 
-0.2410 
2 训练 
对 两 个 时 间 步 长 《如 肾 列 ) 定义 下 面 的 细胞 数组 ， 
-个 具有 五 个 元 素 )。 


= 0 0] [0.5 人 210:911-110 1 





得 到 结果 
2x1doublel 。 l2xl doeublel 
[sxl doublel 。 5Sxl doublel 


希望 网 络 对 下 而 的 月 标 序列 进行 响 应 - 


了 T=11-) 
即 : 

T= 

1 上 


由 丙 个 输入 向 量 组 成 《个 具有 两 


在 训练 之 前 ， 对 网 络 进行 仿真 ， 来 观察 初始 的 网 络 响 应 Y 足 否 与 日 标 了 相近 。 


mm 26] 
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输入 让 面 的 代码 ， 
Y=simnetP)》 
得 到 如 下 结果 : 
Y= 
13xl douhlej [3xl double] 
[ 039%94]  [ 043191 
这 个 细胞 数 纽 Y 的 第 一 行 是 






个 网 络 输出 的 输出 序列 ， 它 也 是 第 层 的 输出 序列 。 
在 具体 计算 时 ， 竺 到 的 第 一 行 的 值 可 能 与 这 里 给 出 的 值 不 一 样 ， 这 是 因为 初始 的 权重 ， 以 
及 偏 皮 不 成 造成 的 . 但 是 ， 它 们 一 般 来 说 部 不 太 可 能 与 中标 了 相同 、 
上 面 的 任务 就 是 准备 训练 参数 了 。 下 面 的 代码 显示 了 默认 的 Levenberg-Marquardt 训 
练 参 数 〔 这 是 在 设置 nettrainFcn 为 rainlm 时 定义 的 )。 
nettrainPararn 
得 到 则 下 的 结果 : 
ans = 
epochs: 100 
goal:0 
max_fail: 5 








mem_reduc: 1 
min_grad: 1.0000e-010 
mu: 0.0010 
mu_dec: 0.1000 
mu_inc: 10 
mu_max: ].0000e+010 
SDow: 25 
time' tn 
用 下 别 的 代码， 改变 性能 日 标 为 : 1e-10- 
meLtrainParam,goal = le- L0; 
接 下 来 ， 使 用 下 和 的 调用 训练 网 络 : 
net = trainfnetPT); 
在 训练 过 程 中 显示 避 F 结 打 : 
TRAINLM. Epoch 0/100, MSE 1.20559/1e-010, Gradient 3.47128/1e-010 
TRAINLM, Epoch 3/100, MSE 1.38138e-011te-010, Gradicnt 1.S634e-00S71e-010 
TRAINLM. Performance goat Imet. 
训练 绪 束 时 ， 绘 制 出 训练 图 ， 如 图 13-2 所 示 。 
从 网 13-.2 中 可 以 看 出 ， 经 过 三 步 训 练 ， 就 达到 了 设 定 的 性 能 日 栖 ， 这 与 训练 过 程 中 
显示 的 步 数 也 是 吻合 
如 果 改 变 网 络 的 性 能 目标 ， 将 性 能 时 求 提高 ， 则 需要 更 多 的 训练 步 数 和 训练 时 间 ， 人 在 
实际 由 需要 根据 要 求 合理 地 选择 性 能 目标 ， 以 达到 性 能 与 时 间 的 综合 优化 。 
训 完 网 络 后 ， 可 以 对 这 个 训练 过 的 网 络 进行 仿真 ， 检 验 一 下 训练 的 网 络 是 让 学 会 了 
止 痪 地 响应 。 
箱 入 如 于 的 代码 ; 
Y= simnetP) 





were 2] 人 2。 mm 





errmancg 芭 直 加 135e011 ,站 6 坦 1a01 广 





交 

















图 13-2 ”训练 过 程 图 
可 以 得 到 如 下 的 结 淋 ; 
Y= 
I3xl double] 。 J3xl double] 
1 10000  [ -10000] 


显然 ， 第 “个 网 络 输出 〈 即 细胞 数组 Y 的 第 二 行 ) 世 作为 第 三 层 的 输出 ， 与 目 栋 序 
列 T 很 好 此 吻合 。 立 说 明 训练 后 的 网 络 能 够 得 到 很 好 的 仿真 结果 。 


13.2 ”附加 的 工具 箱 函 数 


前 三 的 章节 介绍 了 很 多 工具 箱 前 数 ， 这 些 都 是 在 使 用 工具 箱 网 络 时 使 用 的 。 介 是， 还 
有 一 些 丁 具 箱 元 数 ， 它 们 不 被 工具 逢 网 络 使 用 ， 页 可 以 在 伸 建 自 己 定制 的 网 络 时 使 用 ， 本 
节 主 要 介绍 在 MATLAB 9 包含 的 这 样 “ 些 函 数 。 

本 节 主 要 分 三 个 部 分 介绍 这 些 琢 数 : 

@ 初始 化 函数 

@ 传递 函数 

量 学 习 届 数 


13.2.1 “初始 化 函数 


1，randnc 
功能 “这 个 权重 初始 化 功 数 产生 随机 的 权重 垂 阵 ， 其 列 的 长 度 被 规范 化 为 1。 
格式 W=randnc(SPR) 
W =randnc(S,R) 
说 明 randnc 是 -个 皮 重 初始 化 及 数 。 其 输入 参数 为 : 
@ 5 行 〈《 神 经 元 ) 的 数 寻 
@@ PR Rx2 的 天 阵 ， 其 什 的 范围 为 [Pmin Pmax]。 
该 函数 执行 之 后 返回 -个 SXR 的 随机 矩 孟 ， 其 列 被 规范 化 为 1。 








03。 eeer 
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参考 randnr。 
2，randnr 
功能 “这 个 权重 初始 化 函数 产生 随机 的 权重 算 阵 ， 其 行 的 长 度 被 规范 化 为 1。 
格式 W=randnr(S,PR) 
WwW =randnr(S,R) 
说 明 randnc 是 - 个 权重 初 始 化 函数 。 其 输入 参数 为 : 
量 s 行 (神经 元 ) 的 数 日 
@@ PR RX2 的 失 阵 ， 其 值 的 范围 为 TPmin Pmax]。 
该 国 数 执行 之 后 返回 一 个 SXR 的 随机 和 矩 际 ， 其 行 被 规范 化 为 1。 
参考 randnc， 


13.2.2 ”传递 鸭 数 














1，asatlin 
功能 “这 个 传递 函数 的 功能 与 satlins 类 似 ， 但 是 它 有 - -个 从 0 一 1 的 线性 区 域 〈 而 不 
是 从 一 [一 1)， 其 最 小 值 和 最 大 值 是 0 和 1 (而 不 起 一 1 和 1 )。 
格式 A=satlinGN) 
info = satlinfcode) 
说 明 sattin 是 -个 传递 数 。 它 有 一 个 输入 参数 : 
N SxQ 的 网 络 输入 〈 列 ) 向 量 
该 明 数 执行 之 后 将 返回 值 截 到 区 癌 [-1， 日 之 问 。 
十 面 的 代码 绘制 出 了 使 用 satlin 传递 簿 数 得 到 的 图 。 
卫 一 -30.1:33 
3= Satlinfni 














plotna) 
图 13-3 是 得 到 的 传递 锁 数 周 。 
网 络 使 用 “改变 -个 网 络 ， 人 得 它 的 一 层 使 用 satlin， 设 置 netlayers{ij,transferFcn 为 
sattin' 。 调 用 sim 函数 来 仿真 使 用 了 sattin 的 网 络 。 
算法 satlintml = 0, 如 有 果 <=0 
D， 如 果 0<=m<= 1 
1, 如 果 ! <= 


参考 sim、poslin、satlins、purelin 。 
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图 13-3 satlin 传递 甬 数 


2，softmax 
功能 ”这 个 传递 函数 是 “ 便 ” 竞 争 传递 冰 数 compet 的 - -个 “ 软 ” 的 版 本 。 具 有 最 大 
网 络 输入 的 神经 元 得 到 一 个 与 1 很 接近 的 和 输出， 而 真 他 的 神经 元 得 到 与 和 接近 的 输出 。 
格式 A=softmax(N) 
into = softmax(code} 
说 明 ”softmax 是 “个 传递 印 数 前 数 。 它 有 -个 输入 参数 : 
N SXQ 的 网 络 和 输入 〈 列 ) 癌 基 
该 效 数 执行 之 后 返回 - ' 个 输出 向 量 ， 其 元 素 在 0 和 1 之 问 - 
下 曾 的 代码 定义 了 一 个 网 络 输入 向 量 NW， 首 旦 计算 输出 ， 绘 制 出 它们 的 条 状 网 像 ， 
证 =[D; 1; -0.5; 0.5]: 
旦 一 Softmax(n): 
subplotC2.1.D, bartm. ylabelCn 





， 

: 加 

，“” 国 省 EE 加 
1 2 3 14 


狠 13-4 softmax 传递 活 数 变换 得 到 的 图 像 


了 网络 使 用 “改变 -个 网 络 , 使 得 它 的 某 - - 层 使 用 softmax 传递 函数 , 设置 Detlayersfij)， 
transferFcn 为 'softmax'。 然 后 调用 sim 拥 数 来 仿真 使 用 了 softmax 传递 函数 的 网 络 ， 


605。 mr 
pop 






阅 


参考 sim、compet 
3.， tribas 
功能 这 是 一 个 三 角 基 传递 函数 ， 类 似 十 径 向 基 传 递 函 数 radbas， 但 是 ， 它 的 形状 简 


格式 A=tripas(N) 
info = tribas(code) 

说 明 tribas 是 一 个 传递 函数 ， 它 只 有 一 个 输入 参数 : 
N SxQ 的 网 络 和 输入 〔 列 ) 向 量 
该 六 数 执行 之 后 返回 N 通过 -个 径 向 基 函 数 后 得 到 的 每 个 元 索 。 
下 而 的 代码 绘制 出 了 “个 使 用 tibas 传递 函数 得 到 的 图 像 。 

nm= -3:0.123; 

a= tnibas(n); 

plotn.a) 
得 到 的 图 像 如 网 13- 所 示 。 
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图 13-5 ”使 用 tribas 传递 函数 得 到 的 图 像 


网 络 使 用 “改变 网 络 , 使 得 它 的 某 层 使 用 tribas 传递 函数 , 设置 netlayers{fijtransferFcn 
为 ribas'。 调 用 sim 对 改变 的 网 络 进行 仿真 。 

算法 tribasGN) 按 照 下 面 算法 计算 输出 ; 

tribas(o) = 1 - abs(n), 如 果 一 1 <= <= 上 

=0,， 其 他 

参考 sim、radbas。 


13.2.3 ”学 习 丽 数 


1，learnh 
功能 这 个 Hebb 权重 学 习 函 数 按照 乘积 、 权 重 输 入 ， 以 及 神经 元 输出 的 比例 来 增加 
权 系 。 它 允许 神经 元 学 习 输入 与 得 出 之 间 的 相关 性 。 
格式 IdWLS1= learmh(WPZNATE.gWgADLPLS) 
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一 移 3 三 训 么 着 MATLAB 6.S mm 


info = learnh(code) 
说 明 learnh(WPZ,NA,TE.gEW,gA,D.LPLS) 函 数 具 及 多 个 输入 参数 ， 
血 W SxR 权 征 矩阵 《或 者 Sxl 偏 帆 向 旺 ) 
P RxQ 输入 问 量 【或 者 oncs(LQ)) 
Z SxQ 加 权 输 入 癌 量 
N SxQ 网 络 输入 向 量 
A_ SxQ 输出 向 量 
T SxQ 层 目 标 向 量 
ESxQ 层 误 盖 向 晤 
gW SxR 性 能 相关 的 梯度 
gA SxQ 性 能 相关 的 输出 梯度 
D SxS 神经 抑 距 离 
LP ”学习 参 数 ， 空 ，LP= 了 有 
昌 LS 学 习 状态 ， 初 始 时 应 该 为 [| 
其 返 可 值 为 ; 
量 dW SxR 权重 (或 者 偏 填 ) 改变 矩阵 
@@ LS 新 的 学 习 状态 
学 习 是 按照 learnh 的 学 习 参 数 米 进 行 的 ， 这 里 列 出 其 默认 值 ; 
ELPlr 0.0!1 学 习 速率 
learnh(code) 对 于 特 个 code 字符 串 返 回 有 用 的 信息 : 
二 ”pnames' 返回 学 习 参 数 的 名 称 
@@ 'pdefaults。 返 区 默认 的 学 习 参 数 
和 @ needg' 如 果 这 个 男 数 使 用 gwW 或 者 gA， 风 返回 1 
下 面 的 代码 为 一 个 层 定义 了 个 随机 输入 P 和 输出 A， 它 具有 一 个 晒 元 素 的 输入 和 














个 神经 元 ， 同 时 ， 述 定义 了 学 习 速率 1r。 


p=rand(2.1: 
a= rand(3.1); 
lpJr=0.5; 
出 于 leamh 只 需要 这 些 值 就 可 以 计算 一 个 权重 变化 【可 以 参照 下 面 给 出 的 算法 )， 网 


此 可 以 用 以 下 的 代码 米 完 成 这 个 任务 。 


dW = leamh(D, ps.D,DD DPID) 
得 到 权重 改变 矩阵 如 下 : 
dyW = 
0.2883 。 0.0701 
0.2309 0.0562 
0.4234 。 0.1030 
网 络 使 用 “为 了 准备 将 某 个 定制 网 络 第 ; 层 的 权 生 和 偏 署 来 用 leamh 进行 学 习 ， 和 需要 








以 下 步骤 ， 


@@。 设 轩 mettrainFcn 为 trainr (netirainParam 将 白 动 变 成 tainr 的 默认 参数 )， 
@@。 设 冒 netadaptFcn 为 rains (netadaptParam 将 自动 变 成 rainr 的 默认 参数 )， 


0 
re 
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旬 设 兽 竺 个 netinputwWeights{ 这 jlearnFcn 为 Jeamh' ， 设 置 全 个 meLtlayerWeights 
{ij:learnFen 为 learmh 《每 个 权重 学 习 参 数 属性 会 自动 地 设 曾 为 learnh 的 默认 参 
数 )。 
为 了 训练 网 络 (或 者 使 其 能 够 失调 整 )， 尖 要 进行 以 下 操 件 : 
量 ”设置 nettrainParam (netadaptParam) 属性 为 需 昌 的 值 。 
@@ ”调用 trainfadapD， 
算法 ieamh 联 数 按照 Hebb 学 习 规 则 为 神经 元 的 输入 P、 输 出 A， 勾 用 学 习 速 率 Ir 
计算 权重 改变 dW。 
dmw = reasp' 
参考 learmhd、adapt、train。 
2，Iearmhg 
芒 能 “这 个 退化 的 Hebb 学 习 函数 类 似 了 Hebb 图 数 ， 但 是 增加 了 - -项 ， 它 随 着 时 间 
步 长 指数 的 对 权 生 递减 。 这 个 权 生 退化 允许 神经 元 忘掉 那些 没有 国定 强化 的 相关 性 ， 这 也 
解决 了 Hebb 表 数 具有 无 办 增长 的 权重 的 问题 
格式 [dW'LS] = learnhdf(WPZ.N.ATEgW,gADILPLS) 
ipfo = learnhd(code) 
说 明 learnhd 是 Hebb 权重 学 习 明 数 ， 
learmbd(WPZ.NATE,gWgA,D.LPLS) 函 数 具有 多 个 输入 参数 : 
W SxR 权重 扼 阵 〈 或 者 Sx1 偏 置 向 量 》 
PRxQ 输入 向 量 【 成 者 ones(l,Q)) 
民 SxQ 加 权 输 入 向 量 
NSxQ 网 络 输入 向 二 
A_ SxQ 输出 问 量 
T SxQ 居 日 标 疝 量 
也 SxQ 层 误 差 问 量 
gW SxR 性 能 相关 的 榜 度 
gA _SxqQ 性 能 相关 的 输出 梯度 
D SxS 神经 元 距 郊 
LP ”学习 参数 ， 空 ，LP = 
LS 学 习 状态 ， 初 始 时 应 该 为 吕 





@ dW SxR 上 及 重 ( 蕊 者 偏 置 ) 改变 矩阵 
@ LS 新 的 学 习 状态 

学 习 是 按照 leamhd 的 学 习 参 数 米 进行 的 ， 这 旦 列 出 其 状 认 值 ， 
@ LILPdr 001 退化 速率 
@ LPlr 01 党 习 速率 

Jeampdtcode) 对 于 每 个 code 字符 串 返 回 有 用 的 信息 。 
@ pnames' 返回 学 习 参 数 的 名 称 
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鲁 。 pdefaults。 返回 默认 的 学 习 人 参数 
鲁 needg， 如 果 这 个 困 数 使 用 gW 或 者 gA， 则 巡回 1 
下 面 的 代码 为 一 个 层 定义 了 -个 随机 输入 P 和 输出 A， 它 具有 一 个 陌 元 素 的 输入 和 三 
个 神经 元 ， 问 时 ， 述 定义 了 退化 速 卒 dr 和 学 习 速 率 rr。 
p = rand(2,D; 
a= rand(3,1); 
由 = randG3.2; 
Ipdr= 0.05; 
lpr=0.5; 
让 十 leamhd 只 需要 这 些 值 就 可 以 计算 -个 权重 变 化 《可 以 参照 下 面 给 出 的 算法 )， 内 
此 可 以 用 以 下 的 代码 米 完 成 这 个 任务 。 
dW = Jeamhdtwp, 上 0,a0hTLDD,DJp, 上 中 
得 到 权重 改变 写作 如 下 : 
dW= 
0.0378 0.0061 
-0.0420 -0.0402 
0.2022 。 0.0754 
网 络 使 用 “为 了 准备 将 某 个 定制 网 络 第 让 层 的 权 乎 和 偏 辕 来 用 leamhd 进行 学 习 ， 需 
上 时 以 下 步骤 : 
@@ ”设置 nettrainFcn 为 rainr (nettrainParam 将 自动 变 成 rainr 的 默认 参数 )。 
@ 设置 netadaptFcn 为 mains (netadaptParam 将 白 动 变 成 trainr 的 默认 人 参数)。 
@@。 设 团 仁 个 neLinputWeights{ijj .learnFcn 为 1eamhd,， 设置 每 个 netlayerWeightsfijl. 
learnFen 为 earmnhd' (每 个 权重 学 习 参 数 属性 会 门 动 地 设置 为 leamhd 的 默认 人 参 
数 )。 
为 了 训练 网 络 〈 或 者 使 其 能 够 白 调整 )， 家 要 进行 以 下 操作 ， 
和 ”设置 nettrainParam (netadaptParam) 属性 为 需要 的 值 - 
@@ ”调用 train(adapb。 
算法 leamhd 哆 数控 照 Hebb 退化 学 习 规 划 为 神经 元 的 输入 P、 输 出 A， 以 及 学 习 速 
率 Ir 计算 权重 改变 dW 。 
dw = rraxp' - drew 
参考 learnh、adapt、train 。 








3.]earnis 

功能 “这 个 内 星 权重 学 习 示 数 按照 神经 元 输出 的 步 长 比例 ， 将 神经 元 的 权重 向 荆 朝 着 
神经 元 输入 向 量 的 方向 移动 。 这 个 邓 数 多 许 神经 元 学 习 输入 向 量 与 其 输出 之 问 的 相关 性 。 

格式 [dWLS] = leamis(WPZ.NA,TE,.EWgA,DLPLS) 

info = learnis(code) 

说 明 learnis 是 内 晕 权 重 学 习 函 数 。 

leamis(W,PZ.N,ATE,gEW,gA.DLPLS) 困 数 其 有 多 个 输入 参数 : 

和 ”网 SxR 权重 矩阵 〈 或 者 Sxl 偏 中 向 基 ) 

和 P RxQ 输入 向 景 5 或 者 ones(1,Q)) 





mp 





4 
SxQ 加 权 输 入 向 量 
SxQ 网 络 得 入 向 量 
SxQ 给 出 向 量 
SxQ 慨 月 标 向 量 
SxQ 丘 误 莅 向 量 
gW SxR 性 能 相关 的 梯度 
路”SxQ 性 能 由 关 的 输出 梯度 
D SxS 神经 元 距离 
LP ”学习 参数 ， 字 ，LP = 
LS 学 习 状态 ， 初 始 时 应 该 为 D 
其 返回 值 为 
@@ dW SxR 权重 (或 者 往 置 改变 矩阵 
@@ LS 新 的 学 习 状态 
学 习 丰 按照 learmis 的 学 习 参 数 来 进行 的 ， 这 里 列 出 其 默认 值 ， 
LPI 0.01 学 习 速 率 
leamis(code) 对 于 每 个 code 字符 串 返 回 有 用 的 信息 : 
@@ ”pnames' 返回 学 习 参 数 的 名 称 
鳃 。'pdefaults' 返 四 默认 的 学 习 参 数 
@@ "meedg' 如 果 这 个 函数 使 用 gBW 或 者 gA， 则 返回 
下 面 的 代码 为 - -个 层 定义 了 一 个 随机 输入 P 和 输出 A， 它 具有 一 个 两 元 素 的 输入 和 三 
个 神经 元 ， 同 时 还 定义 了 学 习 速 率 Tr。 
P=rand(2,1: 
a=rand(3,1; 
WwW=rand(3.2); 
lpdr= 0.5; 
由 于 leamis 只 需要 这 些 值 就 可 以 计算 一 个 权重 变化 《可 以 参照 下 面 给 出 的 算法 》 因 
此 可 以 用 以 下 的 代码 来 完成 这 个 任务 。 
dW = learnis(w,p,[Liha 上 ,0.0.DJP,DD 
得 到 权重 改变 矩阵 如 下 : 
dW = 
0.1195 4.1596 
0.0546 。 0.3191 
0.0268 。 0.0208 
网 络 使 用 ”为 了 准备 将 某 个 定制 网 络 第 i 层 的 权重 和 偏 置 来 用 learmis 进行 学 习 ， 需 要 
以 下 步骤 : 
鲜 ”设置 net.tainFcn 为 trainr' (nettrainParam 将 自动 变 成 trainr 的 默认 参数 )， 
@ ”设置 netadapthcn 为 trains CnetadaptParam 将 自动 变 成 trainr 的 默认 参数 )。 
@ 设置 每 个 netinputWeightsfijhleamFcn 为 eamis ， 设 帝 每 个 
netlayerWeightsfijjleamFen 为 teamis'〈 每 个 权重 学 习 参 数 属性 会 自动 地 设置 为 
leamis 的 默认 参数 )。 
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第 13 章 高 级 话题 AAATLAB 6. 和 Eeea 


为 了 训练 网 络 〈 或 者 使 其 能 够 自 亩 整 )， 震 要 进行 以 上 操作 : 
鳃 ”设置 nettrainParam (netadaptParam) 属性 为 需要 的 值 。 
@@ ”调用 train(adapt)。 
算法 ”learnis 函数 按照 内 星 学 习 规划 为 神经 区 的 输入 P、 输 出 A， 以 及 学 习 速率 LR 
计算 凤 重 改变 dW 。 
dw= Ilrxay(P-w) 
参考 learnk、learnos、adapt、train 。 





二 learmos 
功能 “这 个 外 星 权 重 学 习 函 数 按 赂 与 内 是 学 习 规则 相对 的 方式 运行 。 外 星 学 习 规 划 根 
据 神经 元 得 入 值 的 步 长 比例 ， 将 神经 元 的 量 从 神经 元 输入 向 量 的 方向 朝 着 神经 元 某 
层 箱 出 向 量 的 方向 移动 。 这 个 区 数 企 仿真 时 允许 输入 学 习 调用 向 量 。 
格式 [dWLS] = learmmos(WPZ.N,ATE.gWEA,D,LPLS) 
info = ljearnos(code) 
说 明 learnos 是 外 星 权重 学 习 函 数 ， 
leamos(WPZ,N,ATE,gW.8A,D,LPLS) 明 数 有 具有 多 个 输入 参数 : 
人 SxR 权重 矩阵 〔 或 者 Sx] 偏 帝 向量 》 
RxQ 输入 向 区 《或 者 ones(1,Q)) 
SxQ 加 权 输 入 向 量 
SxQ 网 络 输入 向 量 
SxQ 和 输出 向 量 
SxQ 层 日 标 向 量 
SxQ 层 误 疙 向 量 
gW  SxR 性 能 相关 的 娣 度 
8gA SxQ 性 能 相关 的 和 输出 梯度 
D SxS 神经 元 距离 
ELP 学习 参 数 ， 空 ，LP= 昌 
@ LS 学 习 状态 ， 初 始 时 应 该 为 [] 
它 的 返回 值 为 ， 
@_ dW SxR 权重 (或 者 偏 辕 ) 改变 证 阵 
@@ LS 新 的 学 习 状态 
学 习 是 按照 leamos 的 学 习 参数 米 进行 的 ， 这 里 列 出 其 默认 值 : 
LPlr 0.01 学 习 速 率 
learnos(code) 对 于 每 个 code 字符 串 返 中 有 用 的 信息 : 
@ pnames' 返回 学 习 人 参数 的 名 称 
和 pdetanlts。 返 思 默认 的 学 习 参 数 
@ meedg'， 如 果 这 个 冰 数 使 用 gW 或 者 8A， 则 返回 1 
下 面 的 代码 为 一 个 层 定义 了 一 个 随机 输入 P 和 输出 A， 它 具有 一 个 两 元 素 的 输入 和 
个 神经 元 ， 同 时 ， 还 定义 了 学 习 速 率 1r。 
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了 =rand(2.1 
a=rand(3.1D; 
W=Iand(3 2 
lpT=035; 
由 于 leamos 只 希 要 这 些 值 就 可 以 计算 一 个 要 生变 化 《可 以 参照 下 面 给 出 的 算法 )， 内 
此 可 以 用 以 下 的 代 代 来 完成 这 个 任务 ， 
QW= leamostwp 届 汪 ,a 眉 口 ,DD 和 1p.[TD 

得 到 权 下 改变 条 阵 如 下 : 
dwW= 
0.0465 0.0432 
-0.0823 -0.1375 
0.0181 0.1266 

网 络 使 用 “为 了 准备 将 某 个 定制 网 络 第 i 层 的 权重 和 偏 置 米 用 leamos 进行 学 习 ， 需 

葡 以 下 步 又 ， 

8 设置 net.trainFcn 为 trainr (nettrainParam 将 自动 变 成 rainr 的 默认 参数 )。 

和 ”设置 netadaptFcn 为 trains' tnetaqaptParam 将 自动 变 成 uainr 的 默认 参数 )。 

@ 设置 每 个 netinputWeights{ij}JearmFcn 为 qearnos'， 设 置 每 个 netlayerWeights 
fjJIearmnFcn 为 leamos' (等 个 权重 学 习 参 数 属性 会 白 动 地 设置 为 Iearnos 的 默认 
参数 )。 

为 了 训练 网 络 〈 或 者 使 其 能 够 自 调整 )， 需 此 进行 以 下 操作 : 

@ 设置 netLtrainParam (netadaptParam) 属性 为 需要 的 值 ， 

志 调用 train(tadaptj。 

算法 leamos 函数 按照 外 是 学 习 规则 为 神经 元 的 输入 PP、 输出 A， 以 及 学 导 速 率 LR 

计算 权重 改变 dW 。 
dw = re(a-wltp' 
参考 learnk、leamis 、adapt、train - 


133 定制 函数 


工具 稍 多 许 牛 成 并 使 用 很 多 种 类 的 琢 数 ， 这 使 得 在 使 用 初始 化 、 仿 真 ， 以 及 训练 的 算 
法 时 有 很 多 方法 ， 并 且 允 许 对 网 络 进行 白 调整 
在 下 面 的 内 容 里 ， 将 分 四 个 部 分 介绍 怎样 后 成 自己 定制 的 这 些 函 数 ， 
@ 仿真 函数 
”传递 函数 
> 网络 输入 表 数 
> ”权重 函数 
@ 初始 化 函数 
> 网络 初 始 化 函数 
> 。 层 初 始 化 稍 数 
> ”权重 及 偶 和 初 始 化 函数 








ae 了 7。 ma 
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一 -一生 : 吉 证 肥 关 WMATLAE 65 
量 学 习 函 数 
> 。 网 络 训练 函数 


> 网 络 日 调整 函数 

> 网络 性 能 饭 数 

> 权重 及 偏 署 学 习 函 数 
@@。 自 纽 织 映 射 函 数 

> 拓扑 函数 

> ”距离 旺 数 


13.3.1 ”仿真 明 数 


可 以 生成 三 种 仿真 函数 :传递 函数 、 网 络 输入 明 数 ， 以 及 权重 函数 。 同 样 ， 也 可 以 提 
供 相关 的 分 派 函 煞 ， 使 得 回 传 学 习 可 以 实现 。 
1， 传 递 函 数 
传递 函数 根据 给 定 的 网 络 输 入 向 量 【〈 或 者 窍 阵 ) N， 计 算 某 层 的 输出 向 量 〈 或 者 答 阵 ) 
4。 输 出 和 网 络 输入 之 间 关系 的 惟 -限制 就 是 输出 必须 与 输入 具有 相同 的 维 数 。 
传递 明 数 一 旦 得 到 了 定义 ， 就 可 以 指定 用 到 网 络 的 任何 : 层 : 例如 ， 下 而 的 代码 将 传 
递 冰 数 yourtf 指定 到 某 个 网 络 的 第 : 层 - 
netlayers{2j},transferFen = yourtf; 
于 是 ， 任 伍 时 候 仿真 网 络 ， 这 个 传递 未 数 者 被 使 用 。 
[Y,PfAD 站 = sim(nebPPi, Ai 
作为 一 个 合法 的 传递 函数 ， 抑 数 必须 计算 从 网 络 输入 N 得 到 的 输出 A， 记 下 所 未 : 
A=yourtfN) 
这 里 : 
量 六 必 一 个 SxQ 的 此 了 侍 ， 它 具 甩 个 网 络 输 入 〈 列 ) 加 量 。 
和 4 是 一 个 SXQ 的 和 阵 ， 它 具 丰 只 个 输出 〈 列 ) 向 量 。 
传递 胃 数 还 必须 提供 关 士 日 身 的 信息 ， 可 使 用 下 面 的 调用 格式 : 
into = yourtftcode) 
对 于 竺 :个 下 列 的 字符 串 代 码 ， 返 回 相应 的 信 入 : 
外 ”Yersionm 返回 神经 网 络 下 其 箱 版 本 
时 deriv， 返 四 | 相关 的 分 派 范 数 名 字 
有 ”output 返回 答 出 范围 
@ active 返回 起 作用 的 输入 范围 
在 工具 箱 中 包 食 了 一 个 名 字 为 myff 的 定制 传递 表 数 的 例子 。 输 入 下 面 的 代码 ， 观 察 
首先 输入 : 
heib mytf 
可 尺 得 到 以 下 的 帮助 信息 : 
MYTE Example custom transfer fnnction . 
Use this fonction as a template to Write your own fnction, 
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Calculation Syntax 

A=mytttN) 

N-SxQ matrix of Q net inpul (column) vectors. 

太 -SxqQ matrixz of Q outputfcotumn) vectors. 

Information Syntax 

info = mytttcode) retums useful information for each CODE string: 
wersion - Returns the Neural Network Toolbox version (3.0). 
eriw -Returns the name of the associated derivatvc function. 
'output  - Returns the output range， 

"activc” -Returns the actve input Tangc. 

Example 





5 
YE 
plotima) 
$Revision: 1.1$ 
输入 下 面 的 代码 : 
了 = -313 
= IDytfn 
pleta) 
myttfderiv) 
可 以 得 到 输出 : 
ans = 
mydtf 
并 得 到 如 网 13-6 所 未 的 图 像 。 





和 
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网 13-6 衣 数 myf 的 曲线 


得 入 下 列 代码 ， 可 以 看 到 mytf 北 数 的 具体 实 坝 。 
type mytf 

其 具体 实现 为 : 
fanetiona = mytftm 
成 MYTF Example custom transier function- 


驳 
号 Usethis function asatemplate to write your own function。 
驴 

一 一 274 一 


AiaGE 


~ YE 吉 凤 区 后 IAATLADB 6.5E 


名。 Calculatior Syntax 


免 =mytfN) 


镶 N- SxQ mairix of Q net input fcolumn] Vectors. 
钨 AA- SxQ matrix of Q output (coiumn) vectors、 


镶 JInformation Syntax 


名 

驴 info = mytffcodey retums useful information for each CODE string: 
名 Yersion - Returns te Neural Network Toolbox version (3.0)、 

名 envw -Returns the name of he associated derivative fanction. 
名 output -Returns the output Tange-. 

纹 actiye' -etarns the active input range- 

久 

免 Example 

饶 


绽 nm=-5.1:33 
驶 ia=Imytftn: 
名 plorma) 

儿 $Revision; 1.1$ 


ifnargin < 1, errorCNot enough arguments 小 end 





话 isstr(n) 
Switch (D) 
Case "Version 
; 多 <- Mustbe 3.0. 
Case deriv 
a = mydtf; 名 <-- Replace with the name of your 
名 associated fanction or” 


casc 'Ontput 


a=|-11]; 镀 <-- Replace with the minimum and maxjmurmn 
镶 atpBt values of your transfer function 

Case "actiye 

3a=[22]; 狗 <-Replace with the range of inputs where 

角 the outputs are most sensative to changes- 

otherwise, error(Unrecognized code.) 

end 

else 

a=1JtnA8+D: 名 <-- Replace with yourcalculation 

end 


可 以 使 用 maytf 函数 作为 - -个 模板 来 生成 自己 的 传递 两 数 。 


下 而 来 讲 传递 分 派 函 数 。 








如 果 需 要 在 定制 的 传递 函数 上 使 用 加 











函数 需要 根据 其 网 络 输入 计算 此 层 
dA_dN= yourdtttNA) 
这 里 ， 


传 ， 则 需要 为 其 生成 -个 定制 的 分 派 秀 数 。 这 个 
出 的 分 派 。 
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和 六 是 一 个 SXQ 的 矩阵 ， 它 其 有 @ 个 网 络 和 输入 〈 列 向量。 

@ 4 足 - 个 SxQ 的 类 阵 ， 它 员 有 个 输出 〈 列 》 问 量 。 

@ dA_dN 十 SXQ 的 分 派 dA/dN。 

这 只 对 上 那些 输出 元 素 相 互 独立 的 传递 郧 数 起 作用 。 换 伞 话 说 ， 这 里 的 等 个 AGO 只 是 
NG 的 -个 甬 数 。 和 否则 ， 人 在 多 各 最 的 情况 下 ， 需 要 一 个 维 数组 〈 面 不 龙 前 而 定义 的 矩阵 ) 
来 存储 这 些 分 派 。 这 样 的 三 维 分 派 现在 还 不 文 持 。 

在 工具 箱 中 包含 了 - -个 名 字 为 mydtf 的 例子。 输入 下 而 的 代码 ， 观 察 怎 样 使 用 。 

首先 条 入 : 

help mydxf 
得 到 下 面 的 帮助 信息 : 


MYDTF Exampie custom transfer derivative funpction of MTYTTE. 





Use this function as atemplate to write your own function。 
Syntax 
dA_dN =mydif(N,A) 
N- SxQ matrix of Q net input (ecolumn) vectors、 
和 - SxQ matix of Q output (column) vectors 
dA_dN -SxQ derivative dAAdN. 
Example 
n 三-S.12S; 
一 mytftn); 
da_dn = mydtftn,a): 
Subplot2,1 ,1 Plottn,a) 
subplot(2,1,.2), plottn,da_dn》 
$Revision': 1.1S$ 
接 下 来 输入 上 面 的 代码 : 
da_dn = mydtftn,a): 
subplott2.1.1), plottn.al 
subplot(2,1.2) plotn,da_dm) 
结果 如 图 13-7 所 示 。 
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图 13-7 函数 mydf 的 划 线 
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使 用 下 面 的 命令 ， 可 以 亚 丰 出 艺 数 mydt 的 实现 。 


得 旬 


可 以 
了 


type mydtf 

两 数 mydtf 的 实现 如 下 ， 

function d = mydtftn va) 

5%MYDTFE Example custom transfer derivative funcbon of MYTT. 


驳 

损 Use this fanction as a template to wTite your own 和 nction. 
侣 

全 Syntax 


多 daAdN=mydttNA) 


使 N - SxQ matrix of Q netinput (colump) vectors. 
名 A- SxQ matrix of Q output (coiurmn) Vectors、 
久 dA_dN - SxQ derivative dA/dN. 

名 

绩 Example 

台 


全 mn 

和 =mytfm; 

汉 ddn=mydtfnia)， 

人 subplot(2,1.), plottn.a) 

名 subplok2,12) plottn.da_dnm) 
和 SRevision: 1.18 


名 4 Replace the foliowing calculation with your 


修 ## denvative calculation. 
= -8xnA7T +aA23 


乞 #。 Note that you have both the transfer functions input N and 
名 soutput A available, which can often allow a more efficient 
饥 ## calculation of the derivative than with justN. 


使 用 mydtd 函数 作为 一 个 模板 来 生成 据 己 的 传递 分 派 函 数 。 


网 络 输入 负数 


网 络 输 入 范 数 根据 给 定 的 加 私 输 入 向 量 《〈 和 矩阵 ) 灾 计算 某 层 的 网 络 输 入 向 最 《或 者 
和 矩阵) N。 网 络 输入 和 加 权 和 输入 之 问 的 惟 -的 限制 就 是 网 络 输入 必须 与 加 权 输 入 有 相同 的 


维 数 ， 并 
数 
而 的 代码 
这 样 
作为 


示 : 





: 且 阐 数 不 能 对 加 公 输入 的 顺序 敏感 。 


定义 以 后 ， 就 可 以 将 这 个 网 络 输入 效 数 据 定 到 某 个 网 络 的 任意 - - 层 上 。 例 如， 下 
指定 输入 函数 yournif 到 -个 网 络 的 第 二 层 上 。 

netiayers{2}.netInpuatFcn = yourmnif; 

， 任 何 时 候 对 这 个 网 络 进行 仿真 时 ， 网 络 输入 函数 部 会 被 使 用 。 

TY.PfAf = simnebPPiAi) 

- -个 合法 的 网 络 输入 函数 ， 函 数 必须 计算 从 网 络 输入 六 得 到 的 输出 A， 如 下 所 


人 
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N= yournif(Z1.Z2，) 
这 里 : 
四 Zi 站 个 如 权 输 入 〈 列 ) 问 量 的 第 ;个 SxQ 的 化 阵 。 
@@ 从 是 Q 个 网 络 输入 《〈 列 ) 向 量 的 一 个 SxQ 的 年 阵 。 
网 络 答 入 静 数 也 必须 使 用 下 面 的 调用 格式 提供 关于 自身 的 信息 。 
info = youmiftcode 
对 于 每 -个 下 列 的 字符 串 代 码 ， 返 回 相应 的 信息 : 
@@ version 返回 神经 网 络 上 只 箱 版 本 。 
@@ deriv 返回 相关 的 分 派 示 数 名 字 。 
在 工具 箱 叶 ,包含 了 一 -个 名 字 为 mynif 的 定制 网 络 输入 函 煞 的 例子 。 输 入 下 面 的 代码 ， 
观察 怎样 使 用 。 
首先 输入 : 
heip mayaif 
可 以 得 到 以 下 的 帮助 信息 : 


MYNIF Example custom net input function 














Use this fanction as atemplate to write your own function， 
Caleulation Syntax 
N= mynifZLZ2…) 
Zi- SxQ matrix of Q weighted (column) vectors. 
N- SxQ matrix of Q net input (columm) Vectors. 
Informarion Syntax 
info = myniflcode) retums useful information for each CODE string: 
wersion' - Returns the Neural Network Tooibox version (3.0). 
denv -Returns the name of the associated derivative funetion. 
Example 
Z1= Iand(4.3)5 
Z2=Tand(4.57 
双 = rand(4.5); 
m = myniftz1.z2,z3) 
$Revision: 1.1$ 
接 下 米 和 输入 下 面 的 代 但 : 
2 = randld,5 
到 =rand(4.5; 
友 =randt45); 
mn= myniflzlz2,z3) 
mynifderiv] 
得 到 下 面 的 结果 


D.136 0.4159 0.1804. 有 022f3 人 .1437 
0.0721 00789 0.0554 0.1972 旭 ,1200 
Ge (4.2290 0.2322 0.4760 0.1146 
0.1781 0.1252 0.2005 0.1074 0.1678 


线 


第 13 章 高 级 闫 亚 日 NAATLAE 6.5 em 


使 用 上 面 的 命令 ， 可 以 显示 出 函数 mynif 的 实现 。 
tpe mynif 

得 色 函 数 mynif 的 实现 如 下 
fanction n=mynifgvararginy 
%MYNIF Exarnple custom net inpur function。 


Use this function as a template to write your own function， 
Caleulation Syntax 
N =myniftZ1.Z2…) 
Zi-SxQ matrnix of Q weightcd [column) Yectors. 


N- SxQ matrix of Q netinput (colurmn) vectors. 


Information Syntax 


jnfo = mynifeode) retums useful Information tor each COPE stmng: 


wersion - Retums the Neural Network Toolbox version (3.0). 


deriv -Retums the name of the assaciated derivative fanction. 


Example 


z = rand(4.5) 
22=randld.5); 
友 3=rand(d.5) 
mm = mynif(z1.z2.23) 





久 $Revision: 1.1$ 

ifnargin < ,errorCNot enough argumments.): end 
mn= vararginf1j); 

这 isstrtn) 

SWirch 了 


case "Version 

a=3.0 久 <- Mustbe30 

case deriv' 

amydnif; 名 <-- Replace with the name of your 


负 


associated derivative fonction or ” 


otherwise 
error(CUnrecognized code.) 


end 

else 

1 
掏 站 
你 
扳 
及 
了】 


Replace the following calculation with your own， The only 
constrainr is that the fonction must not pe sensative 

to the order of its input arguments. 

In other words, MYNIF(Z1.Z2.23) must return the same 
values as MYNIF(Z2.Z3.Z1) MYNITF(Z1Z3.Z2j， etc 


区 
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far i=2:length(varargin) 
n=mn+lAvararginfil; 
end 
hn= 1An: 
ead 
可 以 使 用 mynif 明 数 作为 一 个 模板 来 生成 自 忆 的 网 络 输入 淹 数 。 
现在 米 讲 网 络 答 入 分 派 琐 数 。 
如 果 击 要 在 定制 的 网 络 输 入 函数 上 使 用 四 传 ， 则 需 监 为 其 生成 - 个 定制 的 分 派 明 数 。 
这 个 通 数 珊 要 根据 其 加 权 输 入 计 委 此 层 的 网 络 输入 分 派 . 
dN_dZ = dtansig(Z.N) 
这 时 
@ Z 是 一 个 SxQ 的 媳 阵 ， 它 其 有 Q 个 网 络 输入 《〈《 列 》 向 量 。 
昌 A 是 个 SxQ 的 插 阵 ， 它 其 有 Q 个 输出 〈 列 ) 句 碟 。 
edN_dZ 旦 SXQ 的 分 派 dNY/dZ。 
在 工具 箱 中 包含 了 “个 名 字 为 mydnif 的 例 了 。 输 入 下 甸 的 代码 ， 观 察 怎样 使 用 
首先 输入 : 
help mydntT 
得 到 下 而 的 帮助 全 


MYDNTE Example custom net input derivative function of MYNITE 











Use this function as atcmplate to write your own function. 
Syntax 

dN_dZ = dtansig(7Z,.N) 

乙 - SxQ marix of Q weighted input (column) vectors、 
N-SxQ matrix of Q netinput (column) vectors. 
dN.dZ - SxQ derivative dYdZ. 

Example 

zl = Tand(4.5) 

nd(4,5): 

好 =rand(4.3) 

mi = myniftzl,z2.23) 

dn_dzl = mydnifzl,n) 

dn_dz2 = mydnif(z2,0) 

dn_dz3 = mydnifz3.n) 

$Revision: 1.2S 


“ 米 输 入 下面 的 代码 ; 






接 - 


也 





轨 = rand(4.5); 
mn = myniftzl.z2,z3) 
dn_dzL= mydniftzlm; 


mydnifz2.m; 
mydniftz3.m: 
得 到 下 而 的 结果 。 


m = 





assacm 人 。 = 
ae 


JE 


和 5s 高 级 疾 加 国 MATLA 6.S me 


0.1884 0.1752 0.0318 0.0140 0.0431 
0.0857 D0123 0.0310 0.0158 0.1860 
0.0371 1472 0.0443 0.0136 .2253 
0.0243 0.2459 0D.1814 0.0954 0.1569 
tn_dz] = 
00146 0.0142 0.0000 0.0000 0.0017 
0.0003 0.0000 0.0003 0.0002 0.0339 
00002 0.0070 0.0000 0.0000 0.0316 
0.0004 0.0382 0.0057 人 .0054 0.0047 
dn_dz2= 
D0088 0.0283 0.0001 人 .0000 0.0001 
0.0003 0.0001 0.0002 0.0002 0.0127 
0.0006 0.0037 0.0037 0.0001 0.0201 
0.0001 0.0335 0.0154 0.0002 0.0034 
dn_dz3 = 
0.0117 0.0030 0.0900 0.0000 0.0000 
0.0015 0.0000 0.0000 0.0000 00047 
0.0000 0.0032 0.0007 0.0000 0.0202 
1.0000 0D.0282 人.0122 0.0031 0.0127 
使 用 下 型 的 命令 ， 可 以 显示 出 函数 mydtf 的 实现 。 
fype mydnif 
得 到 函数 mydnif 的 实现 如 下 ， 
function d= mydniftz,n) 
允 MYDNIF Example custom net input derivative Punction of MYNIFE. 


亿 
优 


驼 


Use this function as atemplate to write your own fnnetion 


Syntax 


dN_dz = dtansig(Z.N) 
过 - SxQ matrix of Q weighted input (columm) vectors、 
N - SxQ matrix of Q net input (coluPtn) vectors. 
dN_dZ - SxQ derivative dNIdZ. 


Example 


71=rand(4.5: 

尼 =randf4.5 

23 = rand(4,5: 

nm = mynifttzl.z2,23) 
dn_dzl = mydniffzl.n) 
dn_dz2= mydnifz2n) 
dn_dz3 = mydniftz3.n) 





名 $Revision: 12$ 
多 tr Replace the following calculation with your 


声 本 


derivative calcutation . 


下 
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= BA2YZA23 
名 尖 Note that you have bot the netinput Zin question 
尔 andoutput N available to calculate the derivative- 


可 以 使 用 mydnif 函数 作为 一 个 模板 来 生成 自己 的 网 络 输 入 分 派 函数 。 


3， 权 重 函 数 

权重 函数 根据 给 定 的 输入 向 量 《 或 和 矩阵) P， 以 及 - -个 权重 矩阵 印 ， 计 算 一 个 加 权 了 
的 输入 但 量 〈 或 者 矩阵 ) Z。 

函数 定义 以 后 ， 就 可 以 将 这 个 权重 苹 数 指定 到 某 个 网 络 的 任意 输入 相生 或 者 层 权 划 
上 。 例 如 ， 下 面 的 代码 指定 权重 衣 数 yourwf 到 -个 网 络 上 从 第 - -个 输入 到 第 一 
上 。 











星 





的 权重 








netinputWeigbts{2.11.weightFcn = yourwf; 
这 样 ， 任 何 时 候 对 这 个 网 络 进行 仿 臭 时 ， 权 重 函 数 都 会 被 使 用 。 
[Y,PPA 有 = simtnetPPLAD 
作为 - -个 合法 的 权重 艺 数 ， 殴 数 必 须 计算 从 输入 己 和 一 个 权重 逢 人 阵 砂 得 到 的 权重 答 
入 了 Z， 如 下 所 示 ; 
Z= yourwKwW. p) 
这 里 : 
@@ 有 是 个 SXxR 的 权重 焊 阵 。 
@ 了 是 -- 个 SXQ 的 扼 阵 ， 它 具有 吕 个 输入 〈 列 ) 向 量 。 
@ Z 是 -- 个 SXQ 的 矩阵 ， 它 县 有 史 个 如 权 了 的 输入 〔 列 ) 向 量 。 
网 络 笨 入 函数 必须 也 使 用 下 面 的 调用 格式 提供 关于 自身 的 信息 。 
info = yourwftcode) 
对 于 每 一 个 下 列 的 字符 串 代 码 ， 返 回 相 庶 的 信息 : 
@ versionm 返回 神经 网 络 工具 箱 版 本 。 
@ deriv 返回 相关 的 分 派 画 数 人 名 字 。 
在 开具 箱 中 包含 了 - -个 名 字 为 mywf 的 定制 权重 函数 的 例子 。 输 入 下 面 的 代码 ， 观 察 
怎样 使 用 . 
首先 输入 : 
hejp mywf 
可 以 得 到 以 下 的 帮助 傅 息 ; 
MYWF Example custorn weight function 
Use this fanpction as atemplate to write your own function- 
Calculation Syntax 
Z=mywfYWP) 
妈 -SxR weight matnixX， 
P_-RxQ matrix of Q input fcolumnj vectors、 
过 - SxQ matriz of Q weighted input fcolumn) vectors 
Information Syntax 
info = mytf(code) retums usetul information for each CODE string: 
wersiom - Returns the Neural Nerwork Toolbox version (3.0). 
derivw -Retums the name of the associated denvative function. 





Example 


oneerrrraa 2 员 2。 mm 
eprponiiipee 





yy5E990RIRRIR 
先 3 剖 高 级 尖 亚 用 MAATLA 有 6.5 Eee 


w=Tand(,5); 
P= rand(5,]); 
Z= myYwW 欠 wp) 
$Revision' 1.1$ 
接 下 来 输入 下 面 的 代码 : 
册 =rand(l.5) 
卫 =Tand(5.4)》 
工 = mywffw,p)》 
mywfderiv) 
得 到 下 面 的 结果 : 
ww= 
人 .1911 0.4225 0.8560 0.4902 0.8159 
p= 
0.4608 
9.4574 
0.4507 
0.4122 
0.9016 
z= 
1.0494 
使 用 下 面 的 命令 ， 可 以 显示 出 函数 mywf 的 实现 。 
type mywf 
得 到 函数 mywf 的 实现 如 下 : 
function z=mywftw'p) 
饮 MYWF Example custom weight fanction. 





Use this fomction as atemplate to write your own fanction. 
Calculation Syntax 


工 = mywftWP) 
机- SxR weighr matrix， 
P - RxQ matrix of Q input (columny vectors 
己 - SxQ matix of Q weighted input (cotumn) vectors- 


Information Syntax 
info = mytttcode) returms usefut information for each CODE string: 


in - 及 etums the Neural Network Toolbox version (3.0). 
deriv -Returns the name of the assocjated derjvative frnctton- 





Example 


w=rand(1.5): 
pb = rand(S.1); 
= PYwfwP) 


当头 半 商 当当 商 进 间 闽 间 间 冰冰 冰冰 冰冰 冰冰 站 


3 
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2 


鲍 $Revision: 1.15 
这 nargin < ], errorCNot enough arguments.): end 
iissu(w) 
Switch (w) 
casc versio0 
a=3.0: 驼 < Mustbe 30. 
case deriv 
a='mydtf: 名 <-- Replace with the nanme of your 
凡 assaciated function or 
otherwise 
errorCUnrecognized code.) 
End 
else 
狗 和 只 eplace the folowing calculalion with your 
纹样 Wecighting caleulation。 The only constraint, 过 you 
名 冰 Want to define aderivative function, is that Z mnust 
和 和 beasam ofitenns where each jth tcrm is only a 
多 科 afunctionof wa)andpG) 
了 wp.A2]; 
end 
可 以 使 月 mywf 函数 作为 -- 个 模板 来 生成 自己 的 权重 涵 数 。 
陆 在 来 介绍 -下 权重 分 派 函 数 。 
如 果 需 要 在 定制 的 权重 函数 .上 使 用 回 传 ， 则 需要 为 其 生成 -个 定制 的 分 派 函 数 。 这 个 
函数 般 要 根据 输入 和 权 更 计算 此 层 的 加 权 输 入 分 派 。 
dZ_dP = mydwfrp, WPZ) 
d7_dW = mydwftw ,WPZ) 





日 W 是 一 个 SXR 的 权重 矩阵 。 

@ 了 是 一 个 RXQ 的 矩阵 ， 其 具有 欠 个 输入 〔〈 列 ) 向 量 。 

@ 之 是 -个 SXQ 的 矩阵 ， 其 具有 Q 个 加 权 输 入 《〈 列 ) 向 二 

多 dZ _dP 是 SXR 的 分 派 dZ/dP。 

@ dZ_dW 是 RXxQ 的 分 派 daZ/dw。 

这 只 对 于 那些 答 出 包含 了 守 项 之 和 ， 上 症 每 个 第 夺 项 仅仅 是 双人 和 PG) 的 史 数 的 加 权 冰 
数 起 作用 ， 否 则 ， 在 多 向 量 的 情况 下 ， 需 要 一 个 : : 维 数组 《而 不 是 前 面 定义 购 宗 阵 ) 来 在 





储 这 些 分 派 。 这 样 的 三 维 分 派 现在 还 不 支持 。 
在 工具 箱 中 包含 了 一 个 名 字 为 mydwf 的 例子 。 输 入 下 面 的 代码 ， 观 察 怎样 使 用 。 
首先 输入 : 
hetp myawt 


得 到 下 面 的 帮助 信息 : 
MYDWF Example custom weight derivative function for MYWE 
Use this fanction as a tempjate to write your Own function- 
Syntax 
dZ_dp = mydwftP-WPZ) 


an 7 
ore 





am 
一 于 瑟 么 天 0 NMAATLAB 6.S ma 


dZ_dW = mydwffw WPZ 
了 到- SxR weight matrix， 
卫 -RxQ matrix of Q input (column) vectors. 
ZL- SxQ matrix of Q weighted input (column) vectors. 
dzZ_dP - SxR derivative dZydP 
dzZ_dW - RxQ derivative dZ/dW 
Example 
= rand(1.5). 
P = rand(5,1); 
z= mywfttwp) 
dz_dp = mydwftpwp.2 
dz_dw = mydwfw ,wp'z) 
S$Revision': 1J$ 
接 下 来 输入 下 面 的 代码 : 
w=rand(L5) 
P= rand(S,1) 
Z= mywfcwp) 
dz_dp = mydwf(Cp,wp:z) 
dz_dw = mydwfCw，,wp.z) 


得 到 下 而 的 结果 : 


0.0056 0.2974 0.0492 0.6932 0.6501 


dz_dp = 
00110 0.3287 0.0393 0.2756 人 .8129 
dz_dw = 
0.9663 
03054 
0.1601 
0.0395 
0.3909 
使 用 下 面 的 命令 ， 可 以 显 丰 出 函数 mydt 的 实现 。 
type mydwf 
得 到 裔 数 mydwf 的 实现 如 下 ， 
fanction d=mydwffcodewp 
号 MYDWF Example custom weight derivative fpction for MYWE. 
匈 
名 Useihis function as atemplate ro write your own function、 
名 
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全。 Syntax 


和 昂 =rydwffp WPZ) 
抽 dzZaWw=mydwftw WPZ) 
弦 WW - SxR weight matrix， 





P-RxQ matix of Qinpat (coiuma) vectors. 

鲍 壹 - SxQ matix of Q weighted input (column) vectors 
掀 Z2_dp-SxR derivative dZjdP, 

人 dZ_dW - RxQ derivative dZAdW. 

配 

人 Exampie 

鲍 

的 ww=tand(l 3 


鲍 P=randGS,1); 

忽 z= mywftwp) 

掏 dz_ dp=mydwfp,wp 呈 

驳 dz_dw = mydwfCw-w.pZ) 

驳 $Revision 1.1 

折 #z Replace the iollowing calculations with yoo 

及 ## derivative calculation The only constraint is af 

咏 4 he weight function must be asumof elements, where 

哆 s eachelementiisafunction of wG) and pn only 

Switch code 

case ,py d= 28w*p 

case wd=pA2; 

atherwise. errorfUnrecognized code) 

end 

六 几 Notetbat you have Doth the transfer functions inpwt N and 
所 4 Output A available， wpich can often allow a more efficient 
号 4 Catcuidtion of the derivative than with just N. 


可 以 使 用 mydwf 函数 作为 - -个 模板 来 生成 自 己 的 权重 分 派 函数 。 
13.3.2 “初始 化 晒 数 


可 以 生成 三 种 类 型 的 初始 化 旺 数 : 网 络 、 慨 ， 以 及 权重 / 仿 置 初始 化 函数 ， 下 面 分 别 
进行 介绍 。 

1， 网 络 初始 化 函数 

最 常 的 -种 网 络 初始 化 数 将 所 有 的 权重 和 信 轩 设 示 为 一个 人 ， 这 个 值 是 训练 或 者 
自 调整 的 一 个 合适 的 起 始点 。 

函数 定义 以 后 ， 就 可 以 将 这 个 网 络 初始 化 函数 指定 到 某 个 网 络 ， 如 下 所 示 。 

neLinitFcn = yourmnif 
这 样 ， 和 伍 何 时 候 初始 化 网 络 时 ， 这 个 网 络 初始 化 函数 都 会 被 使 用 。 


net= iaittneb 


作为 一 个 合法 的 网 络 初始 化 酌 数 ， 函数 必须 接受 并 返回 -个 网 络 ， 如 下 所 未 : 


0 mm 





xuaigggggg 
一 2 &EEE 6 INMAATLAB 6.5 mm 


met = yourniftnet 

省 数 可 以 用 任意 的 方法 米 没 兽 网 络 的 权重 和 储 曾 值 。 然 而 ， 要 注意 的 是 ， 涉 昌 改 变 其 
他 的 属性 ， 或 者 把 权重 矩阵 或 偏 置 向 基 设 置 成 错误 的 人 小 。 出 寺 性 能 方 商 的 考虑 ， 在 调 川 
初始 化 师 数 之 前 ，init 关闭 了 对 于 网 络 属性 的 通 党 的 类 型 检验 。 所 以 ， 如 果 弛 -个 权重 矩 
阵 设置 了 错误 的 大 小 ， 将 不 会 立即 产生 错误 ， 们 是 在 后 面 进行 仿真 或 者 训练 网 络 时 ， 将 会 
带 来 问题 。 

如 果 感 兴趣 的 话 , 可 以 在 牛 成 身 己 的 网 络 初始 化 函数 时 , 参考 - -下 上 具 箱 中 现 数 ininlay 

2， 层 初始 化 台数 

层 初始 化 呆 数 将 某 层 所 有 的 权 午 和 偏 置 设置 为 一 个 适当 的 值 ， 作 为 训 红 或 自 调 整 的 志 
和 点。 

上 函数 定义 以 后 ， 就 可 以 将 这 个 层 初始 化 毅 数 指定 到 某 个 网 络 -- 层 上 上 。 例如， 下 面 的 信 
三 指定 了 层 初始 化 函数 yourlif 到 网 络 的 第 - 层 上 ， 


netlayers[21.iniUFcn = youzlif: 

如 有 果 网 络 初始 化 打数 netinitFcn) 被 设置 为 工具 箱 函数 inilay， 邳 么 层 初 始 化 冰 数 只 
被 调用 来 初始 化 一 个 层 。 如 果 是 这 种 情况 ， 那 么 任何 时 候 用 init 初始 化 网 络 时 ， 函 数 邦 被 
月 于 初始 化 相应 的 层 。 

net = iniaet》 

作为 、- 个 合法 的 初始 化 函 数 ， 它 必须 接受 一 个 网 络 弄 - 一 个 层 标号 作为 输入 ， 并 有 在 初 
始 化 第 ; 层 后 返 问 网 络 。 

net= youmifttnetj) 

这 样 ， 阁 数 可 以 根据 您 的 需要 将 第 i 层 的 权重 ， 以 及 偏 署 值 进行 任意 设 幅 。 然 而 ， 需 
要 注意 的 是 ， 不 要 改变 其 他 的 属性 ， 或 者 是 把 权 和 矩阵 和 偏 署 向 量 设置 成 了 错误 的 人 小 。 

如 果 对 生成 层 初 始 化 函数 感 兴趣 ， 训 以 参考 革 其 箱 随 数 initvb， 以 及 initnw 的 实现 ， 

3 权重 及 偏 置 初始 化 函数 

权重 及 偏 曾 初始 化 函数 把 所 有 的 权重 ， 以 及 偏 置 值 设 置 为 - 个 适当 的 值 ， 作 为 训练 或 
者 白 调 整 的 起 始点 。 

示 数 定义 以 后 ， 就 可 以 将 这 个 初始 化 函数 指定 到 网 络 中 任意 的 权重 和 偏 填 上 。 例 如 ， 
下 面 的 代码 指定 了 权重 及 偏 器 初 始 化 函数 yourwbif 到 网 络 第 一 层 的 偷 置 ， 以 及 从 第 “个 
输入 到 第  - 层 的 权重 上 。 

Pet.hiase{21.initFen = "yourwbif: 
netinputWeightsf2.1} initFen = yourwbif: 
如 果 网 络 初始 化 函数 〈netinitFen) 被 设 壮 为 工具 箱 函数 initlay， 并 且 层 初始 化 函数 
Cnetlayers{fij.initFcn) 被 设置 为 革 具 箱 冰 数 initwb， 那么 权重 及 偏 置 初始 化 钙 数 只 调用 来 
初始 化 - 层 。 如 果 是 这 种 情况 ， 那 么 任何 时 候 用 init 初始 化 网 络 ， 这 个 拥 数 都 会 调用 来 初 


net = inittneD) 
作为 - .个 合法 的 权重 及 偏 填 初 始 化 函数 ， 它 必须 接受 两 个 输入 ，- 个 是 菜 层 的 神经 元 
的 数目 S， 另 - .个 是 - 个 R 行 移 两 剂 矩 阵 PR， 它 定义 了 妨 个 箱 入 的 上 小 值 和 最 大 什 ， 这 
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个 芷 数 返 四 一 个 新 的 权重 乱 阵 琴 。 
W=rands(S,PR) 
这 里 ， 
鱼 。S 中 该 层 的 神经 元 数 日 。 
@。 PR 是 一 个 RX2 的 矩阵 ， 它 定义 了 R 个 输入 的 最 公 值 和 最 大 值 。 
@@”WW 是 一 个 新 的 SXR 权重 和 阵 。 
肯 数 还 需要 生成 “个 新 的 偏 置 向 量 ， 如 下 所 未。 
b=rands(S) 
这 里: 
@@。”S 是 该 层 的 神经 元 数目 、 
@ bb 是 一 个 新 的 SX1 的 偏 痪 向 量 。 
输入 下 而 的 代码 : 
help mywbif 
得 到 下 面 的 帮助 信息 : 
MYWBIF Bxample custom weight and bias initialization function 
Use this function as a template to wfite your Dwn funcion- 
Syntax 
W =rands(S.PR) 
S _ -numberof neurons. 
PR - Rx2 matix of R input ranges， 
WW-SxR weightmatrix 
曲 =rands(S) 
8 -numberof neurony. 
b-Sxl bias vector. 
Example 
W=mywbif4.[0 1; -22]) 
b=mywbift4, [LIT) 
SRevision': 1].1$ 
接着 输入 下 面 的 代码 ; 
有 = mywbif(4.0 1 -22]) 
b=mywbiK4il 1) 
得 到 下 而 的 结果 : 
W= 
0.0733 0.0754 
0.0376 00794 
0.0010 人 0920 
0.0420 0.0845 
Pb= 
0.0368 
0.0621 
0.0731 
0.0194 
使 用 下 面 的 代码 来 得 到 mywbif 函数 的 实现 。 
type mywbif 


2 
herogree 


一 一生 世 25 Rn MATLAB 6.5 mm 
得 到 包 数 的 实现 如 下 : 
funetion w = mywbiftspn 
欠 MYWBIF Example custom weight and bias jnitialization fonction. 


又 

人 搞 Tse this fnction as atemplate to Write youf own fonction- 
够 

吕 。 Syntax 

锡 

能 W=rands(SPR) 

名 S -number of neurons. 

免 PR - Rx2 matrix of R inPut ranges. 
全 册 - SxR weighr matrix- 

多 

锅 b=rands(S) 

锦 S -number of neurons. 

名 b- Sxl bias vector 

多 

全。 Example 

名 


过 


W= mywbift4.[01 -22]) 

b= mywbif4,[1 11) 

免 SRevision: 1.1$ 

让 nargin < ,errorCNot enough input arguments .end 


浓 


ifnargin == 1 

由 =randfsLs0.2; 名 <-- Replace with your own inilial bias vector 
else 

f=size(prD;， 的 <- Replace witf your own initial weight matrix 
灾 一 rand(svmys0.1 

end 


可 以 把 mywbif 明 数 作为 -个 模板 米 生 成 自己 的 权重 及 偏 曾 初始 化 未 数 、 
13.3.3 学 习 函 数 


订 以 生成 凹 种 类 型 的 学 习 函 数 : 训练 函数 、 白 调整 疼 数 、 性 能 本 数 ， 以 及 权重 / 偏 置 
学 习 晃 数 。 下 面 分 别 进行 介绍 。 

1 训练 函数 

网 络 训练 函数 是 -种 通常 的 学 习 函 数 。 训 练 胃 数 重复 地 把 -组 输 入 向 景 应 用 到 “个 网 
络 上 ， 竹 次 都 更 新 网 络 ， 直 到 达到 了 某 种 停止 准则 。 停 止 准则 可 能 是 最 大 的 学 习 步 数 、 最 
小 的 误差 梯度 或 者 是 误 羌 日 标 等 。 

-日 定 义 了 辣 络 训练 函数 ， 就 可 以 将 其 指定 到 菜 个 网 络 上 。 

NettrainFcn = yourtf 
这 样 在 以 后 的 任何 时 候 训练 网 络 时 ， 都 将 使 用 这 个 网 络 训练 咕 数 、 


Jaebtrl = train(neLtPTPiAi) 
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作为 一 个 合法 的 训练 琐 数 ， 它 必须 输入 计 返 四 一 个 网 络 。 
[nettrl = yourttnehPdTLALQ:TSVYTV) 
定义 的 训练 函数 必须 提供 关于 上 身 的 信息 ， 它 使 用 下 面 的 调用 格式 。 
infa = yourttcode) 

对 十 每 -个 下 列 的 字符 串 代 码 ， 返 回 相 应 的 信息 : 

里 versionm 返回 神经 网 络 丁 具 箱 版 本 。 

和 ”defaults。 返回 一 个 默认 的 训练 参数 结构 体 。 

当 设 曾 网 络 训练 国 数 〈nettrainFcn) 为 当 己 的 印 数 时 ， 网 络 训练 参数 (nettrainParam 
白 动 地 设 吐 为 相应 的 默认 结构 。 这 些 信 可 以 在 训练 之 前 进行 改变 〈 或 者 保持 个 变 )。 

自己 的 函数 可 以 以 设 定 的 任意 方式 更 新 网 络 的 权重 ， 以 及 仿 置 值 。 然 而 ， 出 要 注意 的 
是 ,不 要 改变 其 他 的 属性 值 ， 或 埋 把 权重 矩阵 上 食 置 向 筷 的 大 小 设 错 - 出 于 对 性 能 的 考虑 ， 
在 调用 白 岂 的 训练 函数 之 前 ，train 对 网 络 属性 关闭 了 - 般 的 类 型 检验 功能 。 所 以 ， 如 果 将 
权重 矩阵 设置 了 错误 的 维 数 ， 并 不 能 乌 上 产生 错误 ， 但 是 将 会 在 对 网 络 进行 仿真 或 者 白 调 
整 时 带 来 问题 ， 

如 果 对 生成 自己 的 训练 函数 比较 感 兴 趣 ， 可 以 参考 工具 箱 中 一 些 函 数 的 其 体 实现 ， 如 
aine 及 trainr。 对 于 这 些 效 几 冰 数 的 帮助 列 出 了 它们 的 输入 输出 项 。 

现存 米 讲 效用 冰 数 。 如 果 参 考 如 trainec、traingd 和 trainlm 这 样 的 训练 因数 ， 就 会 发 现 
它们 使 用 了 -组 效用 明 数 ， 这 可 以 在 nneVnmutils 下 下 由 找到 。 

由 于 这 些 函 数 未 来 可 能 会 进行 收 变 ， 所 以 一般 的 参考 中 都 没有 给 出 它们 ， 但 是 如 果 需 
要 的 话 ， 则 可 以 使 用 它们 ， 只 是 这 样 就 可 能 使 得 对 于 未 来 版 本 的 工具 箱 需 要 对 自己 的 程序 
进行 调整 。 可 以 使 用 它们 的 帮助 信息 来 得 到 因数 的 输入 输出 项 。 

下 面 的 两 个 遇 数 对 计生 成 “个 新 的 训练 记 法 ， 半 且 企 达到 最 终 训 练 步 数 时 进行 截断 处 
理 的 情况 下 是 有 几 的 。 

@ newtr 带 有 任意 数目 可 选 域 的 新 训练 记录 。 

全。 cliptr 将 训练 记 承 限制 到 最 终 训 统 步 数 上 。 

F 面 是 这 两 个 函数 的 帮助 信息 : 

newtr 的 帮助 信息 : 


NEWTR New training record with any number of optional fields- 














Syntax 
妇 = newtr(epochs.fieldnamel',fieldname2….) 
灵 = newtr(firstEpoch epochs] fietdnamel'feldname2 
Waminglt 
This function may be altered or removed in fanure 
releases of the Neural Network Toolbox. We recommend 
you do not write code which cals this function . 
cliptr 的 帮助 信息 : 
CLIPTR CHp training record to the final number of epochs， 
Syntax 
= cliptrGrepochs) 
Waminglt 
This fanction may be altered or removcd in fture 
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下 面 的 三 个 函数 计算 网 络 的 前 向 信号 、 误 将， 以 及 和 


gg 
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ITeleases of the Neural Network Toolbox. We recormmend 
you do not write code which caljs this funetion 





calca “计算 网 络 和 输出 及 其 他 信号 。 
calcerr 计算 抢 阵 或 者 细胞 数组 误 关 。 
calcgrad 计算 偏 置 及 权重 性 能 梯度 . 











下 户 给 出 了 这 三 个 郑 数 的 帮助 信息 : 
calca 的 帮助 信息 : 


CALCA Calculate network outputs and other signals. 
Syntax 

[AcNLWZIWZ.BZ] = calecatnebPduAiQ,TS) 
Description 

This foncfion calculates the outputs of each layer in 
Tesponse to a nefworks delayed inputs and initial layer 
dclay conditions、 

[AcNLWZIWZ,.BZ] = CALCAUNETPdALQ.TS) takcs， 
NET - Neural network， 

了 Pd- Deiayed inputs. 

Ai - Initial layer delay conditions, 

QQ -Concurrent size. 

TS -Time steps， 


and retums， 
Ac - Combined layer outputs = [Ai, caleufated layer outputs]， 
-Netinputy. 


LWZ - Weighted layer outputs. 

TWZ - Weighted inputs. 

BZ  - Concurrent biases. 

Examples 

Here we create a linear network with asinglec input element 
ranging from 0 to ] ,three neurons, and a tap delay on the 
input with taps at 0, 2, and 4 limesteps， The network 认 
lso Biven 8 Tecurrent connection from ]aycr 1 to jtself with 
tap delays of [1 21. 

net= newlin([0 1],3.[0 2 41); 

net.layerConmect1.1) = 1 

netlayerWeightsfl,1j.delays= [1 2]; 

Hereisasingle(Q = Dinput sequence P with 8 timesteps (TS = 3)， 
and the 4initial input delay conditions Pi, combined inputs 了 Pc， 
and delayed inputs Pd. 

P= {00103060407020.1 

i= {0.20.3 0.4 0 

Pc = [Pi P]， 

Pd = calcpdfnaetb8,1,Pc) 

Here thetwo initial layer delay conditions for each of the 
three neurons are defined 





的 性 能 分 派 : 
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Ai= 10.5;0.1 0.21 [0.6; 0.5; 0.2]}: 

Here we calculate the network's combined outputs Ac, and other 

signals described above . 

[AcNLWZIWZBZ]= 
calcerr 的 帮助 信息 : 

CALCERR Calculates matrix or cell array errors. 

已 =CALCERR(TA) 

工 -MxN matrix. 

A-MxN matrix. 

Reiurns 

了 到- MxN matrrix A-B. 

下 =CALCERR(A.B) 

T- MxN cellarray of matmces A{ 上 、 

A -MXN cell array of matrices B{ij、 


caftnetPdAi1.8) 





Returns 
也 - MxN cell array of matrices Atijj-Bfi 

calcgrad 的 帮助 信息 : 
CALCGRAD Calculate bias and wcight performance gradients. 
Synopsis 
[8B,gIW.8IW] = calcgrad(neLQ.PP.BZIWZTWZN.Ac,SE,TS) 
Wamingl 


This function may be altered or removed in future 

Teleases of ihe Neural Network Tooibox. We recommend 

you do not write code which calls this fnection . 
下 而 印 两 个 绷 数 用 单个 向 量 获 吧 并 设置 网 络 的 权重 及 偏 赤 舍 。 能 够 将 所 有 的 这 些 可 调 

节 的 参数 作为 “个 单 -向 量 来 处 理 ， 这 对 于 实现 优化 算法 龙 十 常 有 用 的 。 

@ getx 作为 -个 单 -向 量 获取 所 有 的 网 络 权重 及 偏 填 值 。 
@。 setx 作为 一 个 单一 向 量 设置 所 有 的 网 络 权重 及 偏 置 值 。 
下 面 给 出 这 两 个 函数 的 帮助 信 入 。 
getx 数 的 帮助 信息 如 下 : 

GETX Get ail network weight and bias values as a single Vector 

Syntax 

和 = getxtneD) 

Description 

This funetion gets a networks weight and biases as 

a vecitor of yalues. 

X=GFTXNET) 

NET - Neural network- 

-Wector of weight and biay values、 

Examples 

Here we create a network with a 2-element input and one 

layer of 3 neutons. 

net= newff[O 和 -1 13]); 

We can getits weight and bias values as Dollows: 

Detjwf1 1 


ear 。 29 2。 = 
hreepehprmtgPl 
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netbl1} 
We can gel thesc values as a Singje vector as tollows: 
X = gctxfneD; 
See also SETX, FORMX. 

setx 数 的 帮助 信息 如 下 : 
SETX Set all network weight and bias valucs with a single Vector 
Syntax 
met = Setx(net,XX) 
Description 
This funetion sets a networks weight and biases ro 
avector of values. 
NET= SETX(NETX) 
NET - Neural network， 
和 X -Vector of weight and bias vaIues. 
Examples 
Here we cteate a network wih a 2-clement input' and one 
layer of 3 neurons. 
net = newff(fO 1; -11113]); 
The netwark has six weights (3 neurons* 2 input elements) 
and three biases (3 neurons) for a total of 9 weight and bias 
values。 We can setthem to yandom values as follows: 
met = SeKXtnebrand(9.1)); 
We can 由 en view the Weight amd bias values as follows': 
nctiw{t LI 
netbf1} 
See also GETX, FORMX. 

F 面 的 := 个 函数 对 十 实现 优化 函数 也 是 间 常 有 用 的 。 第 一 个 计算 网 络 所 有 的 前 向 信 


号 ， 包 括 误差 及 性 能 ， 第 二 个 反 筷 以 作为 单 - -向 量 得 到 性 能 的 分 派 ; 第 三 个 函数 反 传 以 得 
到 性 能 的 雅 可 比 行列 式 。 后 而 的 阔 数 在 高 级 优化 技术 ， 如 在 Levenberg-Marquardt 中 使 用 。 








@ calcperf 计算 网 络 和 输出 、 信 和 号， 以 及 性 能 。 
三 ”calcgx 作为 单一 向 景 计算 权重 及 偏 辕 性 能 习 度 。 
和 @ ”calcjx 作为 单 向 量 计算 权重 及 偏 置 雅 可比 行 列 式 。 


2、 自 调整 阔 数 





另 -种 通用 的 学 习 通 数 是 自 调整 函数 。 自 调整 函数 在 每 一 个 输入 时 间 阶 段 更 新 网 络 时 
佑 真 网 络 ， 而 这 在 进行 下 一 个 输入 的 仿真 前 完成 。 
一 旦 定义 了 直 忆 的 自 调整 函数 ， 就 可 以 指定 它 到 一 个 网 络 上 。 


netadaptFcn = youraf 





这 样 在 任何 时 候 调 用 自 调整 网 络 时 ， 将 调用 自己 的 白 调整 函数 。 
fneLYE.PfAT| = adapttnebPTPi.Ai) 

作为 -个 合法 的 自 调整 函数 ， 它 必须 输入 并 且 输出 - -个 网 络 。 
[nebAc,EI] = youraflaeLPd,TLAivQ.TS) 


自己 定义 的 自 调整 函数 必须 提供 关于 自身 的 信息 ， 它 使 用 下 而 的 调用 格式 。 


info = youraftcode) 
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对 于 每 一 个 下 询 的 字符 串 代 码 ， 返 回 相 凡 的 信息 : 
@@ version” 返回 神经 网 络 下 具 箱 版 本 . 
@@ TDpdefaults。 返 同 一 个 默认 的 自 调整 参数 。 
当 设 置 网 络 自 调 整 函数 〈netadaptFcn ) 为 自己 的 本 数 对 ， 攀 络 包 调整 参数 
Cnet.adaptParam) 自动 地 设置 为 相应 的 默认 结构 。 这 些 值 可 以 在 上 调整 之 前 进行 改变 《或 
者 保持 个 变 )。 
自己 的 冰 数 可 以 以 设 定 的 任意 方式 更新 网 络 的 权重 ， 以 及 偏 壮 值 。 然 而 ， 需 上 注 意 的 
旦 ,不 要 改变 其 他 的 属性 值 ， 或 者 把 权重 矩阵 或 偏 置 向 量 的 大 小 设 错 。 出 于 对 性 能 的 考虑 ， 
在 调用 自己 的 自 调整 函数 之 前 ，adapt 对 网 络 属性 关闭 了 一 般 的 类 型 检验 劝 能 。 廊 以 ， 如 
困 将 权重 禾 阵 设置 了 错误 的 维 数 ， 疾 不 能 马上 产生 错 肖 ， 但 是 将 会 在 对 网 阁 进行 仿真 或 者 
训练 时 带 来 癌 题 。 
如 果 对 生成 自己 的 自 调 整 尊 数 比较 感 兴趣 ， 可 以 参考 芷 具 箱 中 一 些 函 数 的 其 体 实现 ， 
芭 trains。 
现在 来 讲 一 下 效用 上 数 ， 如 果 参 着 工具 箱 中 惟一 的 白 调整 函数 trains， 就 可 以 发 现 它 
使 用 了 “组 效用 函数 ， 这 可 以 在 mmeynnutils 上 日 录 里 找到 。 这 些 晒 数 的 帮助 信息 列 出 了 它 
们 的 输入 ， 以 及 和 输出 项 。 
由 于 这 些 函数 未 来 可 能 会 进行 改变 ， 所 以 - 般 的 参考 中 部 没有 给 出 它们 ， 但 旦 如 内 震 
要 的 话 ， 可 以 使 用 它们 ， 只 是 这 样 就 可 能 使 得 对 于 林 米 版 本 的 工具 箱 需要 对 昌 己 的 程序 进 
行 调整 。 
下 面 的 三 个 函数 对 于 仿真 一 个 网 络 ， 片 计算 其 性 能 的 分 派 是 有 用 的 。 
@ calcal 带 有 任意 数 月 可 选 域 的 新 训练 记 受 。 
和 ”calcel 将 训练 记录 限制 到 最 终 训练 步 数 上 。 
@ calcgrad 计算 偏 垃 及 权重 性 能 梯度 。 
3. 性 能 函数 
性 能 函数 允许 对 网 络 行为 进行 分 级 。 这 对 十 很 多 算法 都 十 有 用 的 ， 如 同 传 算法 ， 它 通 
过 调解 网 络 权重 及 偏 填 的 操作 来 改善 性 能 。 
一 口 定义 了 自己 的 性 能 函数 ， 就 可 以 将 其 指定 到 某 个 网 络 上 。 
met,performFcn = 'yourpf、 
任何 时 候 训练 或 者 自 调整 网 络 时 ， 自 己 的 网 络 初始 化 函数 都 会 被 调用 。 
Inebt] = train(nebPTPi,AiD) 
[nebYE,.PfAfl = adapt(netPTPi,Ai) 
作为 一 个 合法 的 性 能 冰 数 ， 自 己 的 函数 必须 用 下 面 的 方式 调用 ， 
perf = yourpPfE.X,PP) 
如 果 瑟 是 一 个 细胞 数组 ， 可 以 通过 下 面 的 方式 将 其 转换 成 - 个 抵 阵 ; 
已 = cell2matE) 
另外 ， 自 己 的 函数 必须 能 够 按 下 面 的 方式 调用 : 
ped = youmpftEnen 
这 是， 如 果 需 要 的 话 ， 可 以 道 过 下 面 的 方式 得 到 X 和 PP 的 值 : 
X = getxaneb; 
PP = netpertormParam: 
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下 己 的 性 能 函数 问 样 必须 提供 关于 白 身 的 信息 ， 它 使 用 下 面 的 调用 格式 。 


info = yourpflcode) 


对 村 竺 一 个 下 列 的 字符 串 代 码 ， 返 问 相 应 的 信息 : 


wersion” 返回 神经 网 络 下 其 箱 版 木 . 
deriy” 返回 相关 分 派 函 数 的 名 字 。 
pdefaults。 返回 -个 默认 的 自 调 整 参 数 。 





当 设置 网 络 性 能 函数 《neLperformFcn ) 为 自己 的 丙 数 时 ， 网 络 的 性 能 参数 
Cnet.perforParam 》 将 自动 地 设置 为 相应 的 默认 结构 。 这 些 值 可 以 在 训练 战 者 白 调 整 之 前 
进行 改变 〈 或 者 保持 不 变 )。 


下 而 的 代码 给 出 了 一 个 定 值 的 网 络 性 能 国 数 的 例子 。 首 先 参考 帮助 信 


妃 





hetp mypf 


得 到 帮助 信息 如 下 : 


MYPF Example custom performance function. 

Use this function as a temmplate lo write youT own functionm 
Calculation Syntax 

perf = mypfE.X,PP) 

E_ -Matrix or cell array of error vectorfs). 

X -Vector of all weight and bias valucs. 

PP - Performance parameter 

perf = mypfEnet) 

Information Syntax 

info = mytftcode) rerums usefuil informarion for each CODE string: 
wersion' - Returmns the Neural Nerwork Toolbox version (3.0). 
deriv -Returns the name of the associated derivative fnction 
Output -Returns the output range. 

active' -Returns the active input range. 

Example 

= rand(4.3): 

x=rand(12.1): 

pp = mypiCpdefautts) 

perf = mypfe,x.pDp) 

$Revision': 1.1$ 


输入 下 面 的 代码 : 





e= rand(4.5) 
X=Tandf12,1) 

pp = mypftpdefautts') 
perf = mypfre,xPp) 


得 到 下 面 的 结果 : 


e= 
0.4451 0.8462 0.8381 0.8318 03046 
0.9318 0.5252 0.0196 0.5028 0.1897 
0.4660 0.2026 0.6813 0.7095 0.1934 
0.4186 0.6721 10.3795 0.4289 0.6822 


X = 


eg 
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0.3028 
0.5417 
0.1509 
0.6979 
0.3784 
0.8600 
0.8537 
0.5936 
0.4966 
0.8998 
起 8216 
0.6449 
PP= 
X] 
关 0.5000 
perf = 
0.8152 
使 用 上 上 的 代码 可 以 得 到 遇 数 mypf 的 具体 实现 : 
type mynf 
其 其 体 实 现 为 ， 
function perf = mypffe.xpp) 
%MYPF Example custom performance function、 
驼 
入 Use ths function as atemplate to wiite your own function. 


先 Caiculation Syntax 


名。 per= mypf(E.X,PP) 


人 E_- Matrie or cellamray of ermr vectorGs)、 
双 X -Vector of all weight and bias values. 
令 PP - Pertomance parameter. 

驳 

名 perf = mypKE,neb 

锅 


名。 IJnformation Synlax 


名 into = mytftcode) retums useful information for each CODE String: 
驴 wersion' - Returms the Neural Network Toolbox version (3.0)， 

能 deriy -Returns the name of the associated derivyative function 
名 output -Retums the output fange. 

多 active” -Returns the active input range. 

久 

饭 Example 

过 


名 e=rand(4.3); 
人 和 一 rand0 2 


tr 了 De 
Pa 


多 pp=mypffpdefaults) 

名 perf= mypf(ex.pp) 

名 $Revisior 1.1$ 

这 nargin < 1, error( Not enough arguments ); end 


ifisstr(e) 
Switch (e) 
Cahe Yersion 
perf= 3.0: 狗 <- Mustbe 3.0， 
case deriv， 
perf = mydpf; 狗 <- Replace with the name of your 
镶 assocjated function or ” 
case 'pdefaults' 
perfx = 并 驶 <-- Replace with the your own performance 
perry= 0.5; 驳 <-- parameter structure or null matrix [ 
otherwise, error('Unrecognized code,) 
end 
else 


ji 这 isatecelU 
e = cell2matfe); 
end 
多 delete the first cxpression below 认 you dontuse PP and 
锡 灶 the second if you dont use the weight and bias vector 愉 . 
inargin == 2 
印 = x.perfomParam; 
x = getxfneUD; 








end 

移 几 Replace the following calculaion with your own 
多 se measure of periormance， 

numErrors = Prodfsizee)); 

numWeightsBiases = lengthGzx), 

perd= sumGsum(abste))) * pp.xnumErrors + … 
sumtabsGo) * pp.yfnumWeightsBiases: 


end 
可 以 将 这 个 函数 作为 一 个 模板 ， 用 于 生成 自己 的 性 能 函数 。 
4， 权重 及 仿 置 学 习 函数 








最 特殊 的 一 类 学 习 函 数 是 权重 及 仿冒 学 习 函 数 。 这 些 通 数 与 某 些 训练 及 日 调整 哆 数 - 
起 ， 用 于 在 学 习 中 更 新 单独 的 权重 及 仿 置 。 
- - 且 定 义 了 自己 的 权重 及 偏 中 学 习 函 数 ， 就 可 以 指定 它们 到 网 络 中 仔 意 的 权重 利 候 慎 
上 。 例 如 ， 下 面 的 代码 指定 权重 及 人 篇 轩 学 习 酌 数 yourwblf 到 第 二 层 的 往 置 ， 以 及 公 从 第 
- -个 输入 刘 第 二 层 的 权重 上 。 
netbiases[2}JeamFcn = yourwblf' 
netinputWeightst2.1j.leamFen = 'yourwblf; 
如 果 网 络 训练 函数 (nettrainFcn) 设置 为 trainb、trainc 或 tainr 或 省 是 网 络 晶 调整 肖 
数 (netadaptFen) 设置 为 trains， 忆 重 及 侧 置 学 习 了 数 只 用 于 更 新 权重 及 偏 冯 ， 炒 么 任何 
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时 候 用 train 或 者 adapt 训 或 者 自 凋 浆 网 络 时 ， 白 己 的 函数 将 用 于 更 新 权重 及 偏 置 。 

[nebt] = tain(NET,P,T,PLAi) 
JnehY,E,.PEA = adapt(NET,P,TPLAi) 

作为 一 个 合法 的 权重 及 偏 置 学 习 函 数 ， 它 必须 能 够 这 样 调 用 : 
faW,LS] = yourwbifCW,P,Z， 

自己 的 函数 按照 下 面 的 方式 调用 以 更 新 信 界 向 基 。 
[db,LS] = yourwblftb.ones(LQ)ZNA,TEEW.gA,DLP.LS) 

这 里 ; 

里 S 是 该 层 的 神经 抑 数 日 。 

ee b 是 -- 个 新 的 SX1 的 偏 置 向 量 ， 

自已 的 函数 同样 必须 提供 关于 自身 的 信息 ， 它 使 用 下 面 的 调用 格式 。 
info = yourwblftcode) 

对 十 每 一 个 下 列 的 字符 出 代码 ， 返 回 相 应 的 信息 。 

和 @@ versiom 返 问 神经 网 络 工 其 箱 版 本 。 

和 deriy， 返回 相关 分 派 函数 的 名 字 。 

鳃 。'pdefautts， 返 癌 一 个 默认 的 由 调整 参数 。 




















输入 下 面 的 代码 可 以 得 到 关于 这 个 定制 的 权重 及 偏 置 学 习 示 数 的 帮助 信息 ， 
helg mywbif 
得 到 帮助 信息 如 下 : 


MYWBEF Example custom weight and bias learning function. 
Calculation Syntax 
[dWLS] = mywblt(WPZNATESWEADLPLS) 
[db.LS] = mywblfb,ones(l.Q),Z,N.A,TE,EBWSgA,.DLPLS) 
网 -SxR weight matrix (or Sxl bias vector). 
P -RxQ input vectors (or ones(1,Q)). 
Z - SxQ weighted input vectors. 
N _ -SxQ netinput vectars. 
人 - SxQ output veetors， 
了 -SxQlayer target vectors. 
E_“- SxQlayer error vectors. 
BEW - SxR gcadicnt with respect mo Performance、 
EA - SxQ output gradient with rcspect to performance- 
卫 -SxS neuron distances. 
LP- Leaming parameters, none,LP = []. 
LS - Leaming state, initially shouid be = 中- 
dW- SxR weight (or bias) change matrix- 
Intormation Syntax 
inofo = mywblftcodey returns uscful information for each CODE string: 
wersion' -Retums the Neural Network Toolpox version (3.0). 
'pdefaults' - Rerurmns the narne of 由 e associated derivative function. 
meedg' - Returns the output range， 
Example 
WW=randl45) 
gW=rand(4.5); 


0 
ae 
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jpP= mywbltfpdefaults) 

[dWS1 = mywhlftw DDNUU.U8W.UJPY 
W= 妈 +GW; 

EW =rand(4.5); 

下 Was] = mywblgwUTN0D,0.0SWDUMPds); 
到 = 风 TdW; 


4$Revision: 128 
输入 下 面 的 代码 可 以 得 到 函数 mywbif 的 其 体 实现 : 
type mywblf 
得 到 函数 mywpif 的 具体 实现 如 下 : 
fanction [dwls] = mywbtffw.p,zmabe,EWLEA,IPJS) 
约 MYWBLF Example custom weight and bias learnjng function. 


次 闪 妆 六 并 认 妆 识 访 式 和 了 遂 闪 闪闪 凌 六 次 次 闪 未 


次 这 妆 寺 


总 涩 次 凑 间 识 间 站 


Caleuiation Symrax 


[dWLS] = mywblf(W.PZN.ATE.EW.SA,DILPLS) 
[dbLS] = mywblftbones(LQ)ZJNATESWSAIDLPLS) 
到 -SxR weight malrix (of Sx] bias Vector)， 
了 “- RxQ input vectors (or ones(i.Q)). 
- SxQ weighted input vectors- 
~-SxQ net input vectors- 





=- SxQ output vectors， 

- SxQ layer target Vectors， 

- SxQ Vayer emror Yectors. 

gwW - SxR gradient with respect to performance， 

8A - SxQ output gradient with Tespect to performance- 
D -SSxS neuron gistances. 

LP -Learning parameters, none, LP= |. 

LS - Leaming stale, injitally shouid be = 人 

dW - SxR weight (or bjas) change matrix、 


局 并 


Information Syntax 


info = mywblf(codej retums nseful ipformaton for each CODE string: 


wersiom -Retums the Neural Nerwork Toofbox version (3.0). 
'pdefaults - Returns the name of the associated derivative tanction, 
Teedg' -入 eturns the outpaut Tange- 
Example 
=randl4.57 
gW = Tand(44 





lp= mywblfcpdefaults? 

idWJs] = mywblttwD,D.DJDTLEWDTNiP,D 
W=W+dyW; 

gw = rand(4.5]: 


099。 
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名 Ia =mywblwD0D DNSWODJpJs): 
名 机 =+dW: 
多 $Revision: 1.2$ 
ifisstt(w) 
Switch Jowerw) 
Case "Yersiom 

dw=3.0; 够 <-- Mustbe 3.0. 

case 'pdefaults' 
UwJr= 0.01; 多 <- Replace with your own leaming 


镀 parameters or the null matrix []. 
Case needg 
dw = 了 多 <--1or0 depending on whetheryour 
名 funcion uses gW orgA,ornot 
otherwise 
errorCUnrecognized property.) 
end 
PS 
让 isemptyn0is) 
lsx=03: 驼 <-- Replace with your own fanctions initial 
名 leaming state orthe nu matrix [] 
end 
dw = Ip.IFxlsxrgWr; % <-- Replace with your own weight change 
名 caleulation. 
ix = 1-1s.x 名 <-- Replace with your own leaming state 
县 update code, ifyou have any such state. 
end 


可 以 把 函数 mywelf 作为 - .个 模板 ， 用 于 生成 自己 的 权重 及 偏 畦 学习 函数 。 
13.3.4“ 自 组 织 映 射 函数 


有 两 种 类 型 的 函数 用 于 控制 神经 元 怎样 昌 组 织 映 射 响 点 ， 它 们 是 拓 站 函数 和 焉 离 了 
数 - 
1， 拓 扑 芳 数 
拓扑 函数 在 给 定 维 数 的 情况 下 ， 计 算 某 层 神经 元 的 位 置 。 
旦 定义 了 自己 的 拓扑 函数 ， 就 可 以 指定 它 到 网 络 的 任意 层 上 、 例如， 下 面 的 代码 指 
定 拓扑 函数 yourtopf 到 网 络 的 第 二 层 。 
netiayersf2j topologyFcn = yourtopf; 
任何 时 候 当 网 络 训 练 或 自 调整 时 ， 自 己 的 拓扑 函数 将 被 使 用 。 
[neea = eaintNETPTPLAi) 
fnebY,E,PEA 人 = adaptINET.PTPiAD) 
作为 一 个 合法 前 拓扑 函数 ， 它 必须 从 维 数 dim 计算 出 位 置 pos， 如 下 所 不 ; 
pos= youropttdiml dimn2.dimN) 
工具 箱 中 包含 了 一 个 定制 拓扑 函数 的 例子 ， 名 字 为 mytopf。 首先 输入 下 面 的 的 代码 





:NS 
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得 到 帮助 信息 。 


help mytopf 


得 到 下 面 的 帮助 信息 : 


MYTOPF Example custom topology function。 

Use this fanction as a template to write your own function. 
Syntax 

os = mytopfldimldim2，.dimN) 

dimi - number of neurons along the ith iayer dimension 
pos - NxS matrix of S position vectors, where S is the 
total number of neurons which is defined by the 
Product dim1*dimls…*dirmnN- 

Example 

pos = mytop 表 20.20):; 

piotsompoy) 

$Revision: 1.1$ 


输入 下 面 的 代码 ; 


pos = mytopft20,20); 
加 oltsom(pos) 


得 到 的 结果 如 图 13-8 所 示 。 


Neuron Positions 


position(2 履 





5 
positionf1 少 


图 13-8 拓扑 函数 


输入 下 面 的 代码 可 以 得 色 冰 数 mytopf 的 实现 。 


type mytopf 


可 以 得 到 mytopf 的 具体 实现 如 下 : 


function pes=mytopfvarargin) 
区 MYTOPF Example custom topology function_ 

鹃 

呈 Use this fanction as atemplate to write your own function。 
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Syntax 


pos = mytopftdiml.dim2，.dimNy 
dimi - number of neurons along the ith jayer dimension 
pos - NxS matrix of S posidion vectors, where S is the 
total number of neurons whicb is defined by the 
product dimlsdim1s,*dimN。 


Example 


次 当当 妆 半 站 次 妆 次 妆 状 冰 


pos = mytopf20.20), 
狗 “plotsom(pog 
狗 $Revision: 1.1$ 


狗 习 Replace the code below with your own caleulation 
狗 tr for the neuron Positionw， 


dim = [varargin{: 朋 ， 。 驳 The dimensions as a row vector 
size = proddim; 饮 Total nummber of neurons 
dims= length(dim: 多 Number of dimensions 

pos = zeros(dims'sizc); 名 The size that POS will nced to bc 
Jen= 1 

pos(L.D = 0， 

for 记 llength(dim) 

dimi = dimG): 


newlen = lenrdimi' 
iD,Lnewlen) = pos(l:(i-l)rem(0:(newlen-ljlem+ 1 





imi-1); 
pos(ll:newlem) = Positfloort(0:tnewlen-DMiem)+ 1 
len= newlen: 

end 





Fer 


pos(i:)=pos(i,:)*0.7+sinf[]:size]sexp( TS 本)#0.25 

end 
可 以 将 冰 数 mytopf 作为 一 个 模板 ， 使 用 它 生成 握 己 的 拓扑 冰 数 。 
2， 距 离 廊 数 


距离 函数 在 给 定位 交 的 情况 上， 计算 某 一 层 中 神经 元 的 距 岗 。 
一 旦 定义 了 自己 的 距离 殉 数 ， 就 可 以 指定 它 全 网 络 的 任意 “ 层 上 。 例 如 ， 下 而 的 例子 
指定 了 距离 函数 yourdistf 伸 网 络 的 第 - - 层 。 
metlayerst21.distanceFcn = yourdistf'; 
这 样 ， 任 何 时 候 网 络 训练 或 者 自 调整 时 ， 自 己 的 距离 函数 将 会 被 使 用 。 
Inettr] = train(NET.P.T,PiAi) 
[netY,E,PFEAf = adapt(NET,P.T.PiAi) 
作为 一 个 合法 的 距离 函数 ， 其 必须 从 位 置 pos 信息 计算 出 距离 4， 如 下 所 不 : 
d = yourdisttposl,pos2，,posN) 


ai 3 人 0 了。 mm 
airrrpreeiirVre 


kg 
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工具 箱 中 包含 了 -一 个 定制 距离 函数 的 钢 子 ， 名 字 为 mydistf。 首 先 输入 下 面 的 的 代码 


得 到 帮助 信息 。 


heip mydistf 

得 到 帮助 信息 如 下 : 
MYDISTF Example custom 由 stance function、 
Use thjs function as a template to write you own fonction- 


Syntax 


d= mydistfpos) 


pos - NxS rmatrix of S neuron position vectors. 
由 -SxS matrix of neuron distances. 


Example 


pos = gridtop(3,2); 
d= mydistftpos) 
S$Revision: 128$ 
输入 下 面 的 代码 : 
pes = gridtop(4.5)， 
d= mydistftpos) 
得 到 结果 如 下 : 


d= 

0 1.0000 2.0000 1.0000 1.5874 2.4473 
1.0000 1.0000 1.5874 1.0000 1.5874 
2.0000 1.0000 站 2.4473 1.5874 1.0000 
1.0000 1.5874 2.4473 0 1.0000 2.0000 
1.5874 1.0000 1.5874 1.0000 0 1.0000 
2.4473 1.5874 1.0000 2.0000 1.0000 @ 


输入 下面 的 代码 ， 可 以 得 到 函数 mydistf 的 具体 实现 ， 
type mydistf 
得 到 函数 mydistf 的 有 具体 实现 如 下 : 
function d= mydistttpos) 
人 MYDISTF Example custom distance function. 


名 

名。 Use this function as atemplate to write your own function. 
忽 

全 Syntax 

名 

驳 dz mydistftpos) 

驼 pos - NxS matrix of S neuron Posiion vectors、 
狗 d -SxS matrix of neuron distances. 

名 

胸 。 Example 

名 


名 pos = gridtop(3.2); 
d= mydistfpos) 
弦 $Revision: 1.2$ 

S = size[pos,2); 
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名 ++ Replace the following line of code with your own 
入 + measure of distance. 

dj) = norm(pos(:D-pos(:j),1.5); 

end 

end 


可 以 将 函数 mydistf 作为 一 个 模板 ， 使 用 它 生成 则 己 的 距离 明 数 。 


aaaemermna 了 04 am 
oairrrprPP 


附录 A MAITLAB 6.5 的 其 他 新 特性 


A.1 _ SIMULINK 5.0 的 新 特性 


SIMULINK 是 一 种 框图 模型 建 模 环 境 ， 用 于 动态 系统 的 仿真 、 性 能 评估 ， 并 进行 控制 
系统 、DSP 系统 和 通信 系统 的 设计 。 该 软件 在 GUI 和 运行 引擎 方面 的 改进 有 


形 化 的 程序 调试 器 ， 使 错误 分 析 及 调试 操作 简单 起 来 

支持 大 多 数 SIMULINK 杆 块 间 以 矩阵 形式 交换 数据 

支持 更 高 速 的 基于 帧 信号 处 理 的 DSP 应 用 

支持 大 模 地 开发 的 新 特性 ， 包 括 更 新 的 的 于 具 栏 选 项 和 增强 的 行 编辑 功能 
集成 的 查找 对 话 歪 二 具 方 合 了 元 件 在 SIMULINK 模型 和 或 ) 状态 流 图 中 的 搜索 
增加 了 SIMULINK 数据 戏 象 ， 支 持 用 户 自 定义 数据 结构 

新 的 航空 库 及 示例 

提高 了 库 浏 览 跨 和 模 昌 浏览 器 的 使 用 性 能 

废除 了 库 连 接 ， 以 方 使 库 模型 块 的 编辑 

增强 了 的 可 配置 子 系统 ， 便 于 设计 模型 向 实际 实现 转化 

具有 筛选 算法 的 高 级 查 表 横 块 ， 使 仿真 和 代码 生成 更 加 快速 、 精 确 、 闪 活 
单一 视窗 模式 节省 了 宝贵 的 屏幕 空间 


A2 MathWorks Release 13 新 产品 





1，、 航 空 工具 箱 (Aerospace Blockset) 
航空 工具 箱 以 仿真 为 基础 ， 提 供 具 体 的 工具 用 二 机、 飞船 、 导 弹 ， 以 及 推进 系统 与 
子 系统 的 建 异 、 集 成 和 仿真 。 


2. 





对 于 字 航 式 飞行 器 ， 提 供 了 推进 、 控 制 系统 、 系 统 动力 学 ， 以 及 激励 控制 箱 
用 航空 工具 箱 的 组 件 旭 供 了 六 自由 度 和 三 白 由 度 的 实例 模型 
包含 重力 、 空 气 和 风 的 环境 模型 
使 用 空间 表示 转换 模块 增强 了 坐标 转换 功能 
能 实 现 物理 特性 的 单元 转换 
使 用 Handle Graphics 技术 ， 提 供 了 动 面 模块 ， 实 现 二 自由 度 和 六 自由 度 的 动画 
演示 
曲线 拟 合 工具 箱 〈Curve Fitting Toolbox ) 





曲线 拟 合 工具 箱 提供 了 数据 预 处 理 的 各 种 方法 ， 比 如 生成 、 比 较 、 分 析 和 管理 模型 。 
所 有 的 功能 既 可 以 以 命令 行 来 实现 ， 也 可 以 以 图 形 用 户 界面 来 实现 。 
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@ 。 预 处 理 方法 ， 包 括 数 据 的 例 、 截 断 、 滤 波 和 笨 异 值 的 去 处 等 

ee 扩展 了 线形 和 非 线形 参数 拟 合 模型 库 ， 对 于 非 线形 模型 ， 起 始点 和 参数 的 解 算 程 
序 都 进行 了 优化 

有 各 种 各 样 的 参数 和 非 参数 模型 ， 包 括 最 小 一 乘法 、 加 权 最 小 一 乘法 和 重 棒 拟 合 
过 程 〈 包 括 有 参数 边界 限制 和 没有 参数 边界 限制 

晶 。 自 定义 参数 和 非 参 数 模型 扩展 
@@” 用 样 条 和 内 插 法 实现 非 参 数 拟 合 
外 
3 


拟 合 数据 的 搬 补 、 外 推 、 微 风 和 积分 
Metorola MPCS55 岩 入 式 目标 《Embedded Target for Motorcla MPC555) 
Metorola MPC555 嵌入 式 日 标 可 以 将 由 MATLAB 实时 工作 空间 编码 器 生成 的 代码 直 
接 配置 到 MPC555 币 控 制 器 。Motorola MPC555 嵌入 式 日 标 依靠 MATLAB 实时 工作 空间 
编码 器 来 为 Motorola MPC555 生成 和 提供 具体 的 代 人 码 。 
@ ”为 MPC555 提供 快速 原型 和 产 旧 代 码 生成 
@@ “针对 Motorola MPC555 MIOS, QADC 和 TouCAN 设备 蝶 动 块 
@ 通过 板 载 调试 器 (onboard debugger) 或 CAN 《controller area network) 下 载 应 用 
到 Motorola MPC555 
@ 通过 处 理 器 在 回路 联合 仿真 的 方式 验证 算法 代码 
和 牛 成 详细 的 HTML 代码 生成 报告 ， 包 括 RAMROM 信息 
4.C6000 DSP 平台 嵌入 式 目 标 (Embedded Target for C6000 DSP Platform) 
简化 Texas Instruments DSP 软件 设计 和 分 析 流 程 ， 直 接 从 MathWorks 环境 生成 高 效 
代码 。 您 可 以 使 用 SIMULINK，DSP Blockset 和 Communications Blockset 中 的 块 开发 民 次 
化 的 DSP 算法 框图 模型 ， 然 后 通过 Real-Time Workshop 生成 无 歧义 的 可 执行 算法 ， 并 可 
以 进一步 由 DSP 软件 工程 师 优化 。 
@ 自动 生成 支持 Texas Instruments DSP 日 标的 代码 
@ 。 无需 DSP 编程 ， 就 可 以 实时 验证 算法 
和 @。“ 牛 成 Code Composer Studio 项 目 格式 的 常 注解 的 C 代码 
5， MATLAB COM Builder 
MATLAB COM Builder 使 得 很 容易 将 MATLAB 算法 转化 为 COM 对 象 ， 可 以 用 于 任 
何 基 于 COM 的 应 月 。 
@ 通过 简便 易 用 的 GUI 将 MAILAB 算法 转换 成 COM 对 象 
人 “和牛 成 COM 对 象 ,可 以 供 Visual Basic, CIC++H Microsoft Excel 和 其 他 任何 基于 COM 
的 应 用 使 用 
人 ”多 许 修改 和 查看 MATLAB 生成 的 代码 ， 可 以 对 您 所 引用 的 函数 有 更 好 的 理解 
旭 ”通过 MATLAB 生成 的 COM 对 象 可 以 自由 发 布 
6，MATLAB Excei Builder 
MATLAB Excel Builder 使 得 很 容易 将 复杂 的 MATLAB 算法 竺 化 为 独立 的 Excel 插件 
Caad-ins》， 用 户 可 以 利用 以 所 阵 为 基础 、 灵 活 的 MATLAB 编程 环境 ， 以 及 拥有 大 量 可 
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用 数学 和 图 像 函 数 的 优点 ， 从 而 迅速 建立 计算 更 滩 入 的 模型 。 

@ 通过 简 使 吻 用 的 GUI 将 MATLAB 算法 转换 成 Excel 插件 (add-in) 

自动 生成 .dl 和 Visual Basic 应 用 文件 ， 并 旦 可 以 输入 到 Excel 中 
生成 的 揪 件 冰 数 比 Visual BASIC for Applications (VBA) 生 成 的 快 95 多 

人 允许 修改 和 查看 MATLAB 生成 的 代码 ， 可 以 对 您 所 引用 的 函数 背后 的 逻辑 
有 更 好 的 理解 

7，Code Composer Studio 开发 工具 的 MATLAB 连接 

简化 Texas Instmments DSP 软件 设计 和 分 析 流 程 ， 实 现在 TI 软件 开发 环境 、 实 时 DSP 
硬件 和 MATLAB 之 间 的 通信 。 算 法 于 发 人 员 、 系 统 设 计 人 员 和 幢 入 工程 师 道 过 此 工具 可 
以 在 MATLAB 中 测试 、 验 证 和 可 视 化 DSP 软件 ， 消 除了 DSP 算法 研究 和 实现 之 癌 的 缺 
口 。 

@ 提供 M 文 件 功能 ， 允 许 您 对 数据 传输 和 验证 任务 进行 定制 和 让 引 化 

人 ”在 MATILAB 和 Texas Instmments DSP 设备 之 间 提 供 数据 传输 能 力 ， 而 不 必 停止 

目标 应用 .上 执行 的 仔 务 

@ ”硬件 对 象 和 Code Composer Smdio 帮助 测试 、 验 证 和 可视化 DSP 代码 

针 ， 基 于 模型 校准 工具 箱 (Model-Based Caiibration Toolbox ) 

基于 模型 校准 工具 箱 提供 设计 工具 来 校准 功率 系统 。 它 建立 在 MATLAB 高 性 能 的 计 
算 环 境 ， 以 及 仿真 能 力 的 基础 上 ， 减 少 了 功率 器 的 检测 时 间 ， 提 高 了 工程 效率 ， 节 省 了 校 
准时 间 ， 因 而 有 潜力 改进 急 率 系统 性 能 和 训 等 性 。 

@@ 新 的 经 典 设计 Plackett-Burman 师 水 平 筛选 设计 〈tow-level screening design)， 
规则 单纯 形 〈Regular Simplex) 一 个 效率 高 的 - 阶 设计 方法 
使 用 更 方便 ， 可 以 将 用 户 信息 存储 起 来 ， 可 以 在 Model Browser 中 距 上 项 目 文件 
的 历史 列表 
@ 新 的 上 下 文 菜单 ， 可 以 复制 、 删 除 和 重 命名 模型 
@ 在 现 有 的 所 有 模型 绘图 放大 功能 之 上 上， 增加 了 新 的 数据 绘图 放大 了 其 
@ 在 CAGE 用 户 界 而 中 浏览 大 型 数据 集 ， 速 度 可 以 提高 40% 以 工 
@ 支持 SIMULINK 库 中 的 高 级 查 表 类 炮 

9 机 械 仿真 (SimMechanics ) 

它 允 许 工程 师 在 SIMULINK 环境 中 仿真 机 械 系统 。 频 用 SimMechanics 可 以 直接 建立 
机 械 部 件 的 模型 、 仿 真 它们 的 运动 ， 以 及 分 析 结 果 ， 而 不 需要 推导 数学 方程 。 

@ 增强 的 非 线性 方程 求 解 器 ， 仿 真 速度 更 快 

@ 优化 的 模 出 线性 化 

@ 新 的 邻接 (adjoining) 特性 ， 方 便 对 相 邻 的 其 他 物体 能 坐标 系 位 置 利 方向 的 定义 
@。 对 于 并 联机 械 模 型 ， 用 户 可 以 选择 和 观察 切断 较 链 〈cutjoints) 
和 
具 
































图 形 用户 界 面 增强 ， 模 型 动 化 功能 增强 
体内 容 读者 可 到 网 站 httpwww.mathworks.com 查阅 。 
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附录 B MAILAB 6.5 安装 问题 指南 


B.1 MATLAB 6.5 为 什么 安装 后 不 能 启动 


经 党 


党 有 朋友 遇 到 这 个 问题 ， 其 实在 Windows 98 或 其 第 2 版 下 安装 MATLAB 65 应 
该 没有 问题 《也 有 部 分 可 能 会 在 安装 了 IE5.5 或 更 疝 版 本 、 更 新 上 Windows 的 ” 些 字库 以 
后 出 现 )， 而 在 Windows MBE 或 Windows 2000 下 安装 MATLAB 6.5 不 能 局 动 的 主要 原 

因 是 它 的 部 分 中 文字 库 和 操作 系统 的 字库 重 名 造成 冲突 ， 下 钾 给 出 儿 种 可 行 的 解决 方法 以 

供 选 择 。 

1. 更 改 区 域 设置 

在 控制 面板 里 右 区 域 设 置 一 项 ， - 般 中 文 的 Windows 操作 系统 上 默认 的 区 域 设置 足 
“中 文 〈 中 国 )”， 如 网 B-t 所 泵 。 这 申 我 们 只 要 殷 它 更 改 为 “其 座 《美国 )” 之 后 重新 局 
动 计算 机 ，MATLAB 6.5 就 可 以 正常 地 运行 了 。 不 用 担心 ， 改 过 区 域 设 置 之 后 ， 操 件 系统 
仍然 是 中 文 操 作 系统 ， 并 不 会 给 我 们 的 使 用 带 来 太 多 的 麻烦 〈 当 然 有 些小 的 显示 等 方面 的 
问题 )。 这 也 是 最 省 种 的 “种 解决 方法 了 。 





























| 
图 B-1 更 改 区 把 设 壮 





2、 消 除 重 名 字库 
可 以 下 接 在 操作 系统 中 将 重 名 字库 给 删除 ， 或 呈 在 MATLAB 65 的 字体 配 宣 文 件 中 改 











一、 了 me LAB .6.5 辅助 神经 网 络 分 析 与 设计 


变 重 名 字库 相关 信息 。 前 一 种 删除 方法 将 导 答 该 字库 从 操作 系统 中 被 完全 肌 除 ， 其 他 应 吊 
软件 将 也 无 法 使 用 该 字库 ， 因 此 并 不 十 分 理想 ， 不 过 却 也 非常 方便。 后 种 方法 ， 该 字库 
没有 从 抬 作 系统 中 删除 ， 只 是 在 MATLAB 6.5 的 池 体 属性 配 痪 文件 中 改变 了 相关 信息 ， 
此 并 不 影响 其 他 应 用 软件 使 用 这 些 学 库 。 这 内 种 删除 方法 共同 的 虹 核 心 的 问题 就 在 于 要 知 
道 是 哪 一 些 字库 重 名 了 ， 而 这 往往 再 要 去 试验 或 十 获得 他 人 的 经 验 。 目前 在 一 般 的 情况 下， 
大 约 只 有 “新 宋体 ”这 个 学 库 有 重 名 的 问题 。 第 -种 删 除 字体 的 方法 也 非常 简单 《在 字体 
上 月 隶 下 将 相应 的 文件 删 除 即 可 ), 但 “ 般 不 提 介 使用- 这 出 ,我 们 就 介绍 如 何 更 改 MATLAB 
6.5 的 字体 配置 文件 ， 
首先 ，MAILAB 6.5 这 个 导致 死机 的 字体 届 性 配置 文 什 是 fontproperties.zh， 这 个 文 
侍 在 目 孙 $MATLABAsysVjavaxjrevwin32MjrelibvF ($MATLAB 去 示 MATLAB 6.5 的 安装 中 
录 )。 我 们 可 以 用 “个 文本 编辑 器 来 编辑 这 个 文件 。 
在 $SMATLABASysiavare\win32MjreNlibyont.properties.zh 文件 的 最 后 加 上 : 
关 Font entry added by The MathWorks:" 新 宋体 " 
tmw36525210.0=\u65b0Au5b8bvu4f53,.ANST_ CHARSET 
tmw36525210.1=\u65b0vu5b8gbv4153,GB2312_CHARSET 
tmw36525210.2=WingDings,SYMBOL_CHARSETNEED_CONVERTEDP 
tmw36525210.3=SymbolSYMBOL_CHARSETNEED_CONVERTED 
fontcharsettmw36525210.2=surnawt.windows.CharJoByteWingDings 
fontcharset.tmw36525210.3=sun.awt.CharToByteSymbol 








#Font entry added by The MathWorks'"@ 新 宋体 " 

tmw39767002.0= @Yu65bO\uSbgbvu4f53,ANSL CHARSET 
tmw39767002.1=@An65bONu5bgbu4f53.GB2312_CHARSET 
tmw39767002.2=WingDings.SYMBOL_CHARSETNEED_CONVERTED 
tmw39767002.3=Symbol,SYMBOL_CHARSETINEED_CONVERTED 
fontcharsettmw39767002.2=sunawt.windows.CharToByteWingDings 
fontcharseLtmw39767002.3=sun,awtLCharToBytecSymbol 


以 上 结果 为 在 WIN2K sc pro 上 所 得 ， 如 果 的 系统 中 还 有 其 他 有 问题 的 中 文字 库 ， 寓 
要 问 样 地 处 理 ， 经 过 检验 可 以 找到 一 些 没 有 问题 的 中 文字 库 如 : 宋体 、 黑 体 、 仿 宋 ， 楷体 、 
幼 圆 利 隶书 。 

这 种 方法 的 两 种 手段 都 比较 麻烦 ， 需 要 一 些 经 验 和 试验 ， 如 果 不 小 心 还 可 能 会 出 一 些 
问题 ， 下 面 我 们 就 介绍 Mathworks 公司 的 解决 方案 。 

3， 使 用 Mathworks 公司 提供 的 技术 支 淄 

经 过 Mathworks 公司 技术 大 员 的 研究 ， 终 千 找 到 了 问题 的 根源 一 一 Java 虚拟 机 用 米 将 
标准 Java 字体 转换 为 系统 字体 所 厅 的 映射 属性 文件 fontproperties.z 太 其 了 英 射 程序 中 存在 
一 个 小 BUG。Mathworks 公司 已 经 将 补丁 文件 mwtjar 发 布 在 其 公 忆 的 网 站 http: 
Wwwwmathworks.com 上 了 ， 该 文 什 最 新 的 下载 位 置 是 ftp:Wftp.mathworks.com/pubhech 
supportsolutions/s26990。 下 载 了 该 文件 后 将 其 链 换 目 头 $SMATLABYiavaan 下 的 同名 文件 

( 戎 好 对 初始 的 文件 做 -… 个 备份 )。 然 后 ， 重 新 启动 MATLAB 6.5， 问 题 惑 可 以 解 决 了 ， 

如 果 食 有 - . 些 其 他 问题 ， 可 以 到 其 公司 或 友 他 - 些 相 关 网 站 上 得 询 ， 
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B.2 ”安装 时 更 新 Java 虚拟 机 的 问题 


这 个 问题 一 般 比 较 偶 然 地 出 现在 Windows 98 利 Windows NT 环境 中 ， 有 时 因为 安装 
其 他 软件 时 已 经 解决 了 这 个 问题 ， 在 安装 MATLAB 6.5 寻 就 会 比较 顺利 。 但 有 时 确实 会 出 
现 要 求 更 新 Java 虚 搁 机 的 提示 消息 框 ， 这 时 我 们 应 当 更 新 我 们 的 Java 环境 。 其 软件 一 般 
可 以 在 MATLAB 6.5 的 安装 盘 中 找 芭 ， 如 果 是 下 载 的 软件 ， 可 以 外 刘 网 址 
http:Wwwwmicrosoftcomyjava/vmy/dL_vm40htm 去 于 载 相应 的 软件 msvymexe〈 对 应 十 
Windows 98 和 Windows NT 操作 系统 )。 如 果 是 Windows 2000 操作 系统 ， 只 乞 要 安装 刀 
级 补 工 SP2。 





B.3 PDF 文档 的 获取 








国内 的 MATLAB 6.5 软件 大 多 旦 十 载 的 软件 ， 内 此 帮助 文件 不 全 。 下 而 的 这 两 个 网 址 
可 以 给 大 家 一 点 帮助 。 

国外 ，http:/www.mathworks,comyaccess/helpdeskmhelpyhelpdesk.shtml 

国内 : http:/Hfscience .fire.ustc,cdu.cnAmatiab6.html 
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附录 C_ MATLAB 神经 网 络 
工具 箱 函 数 参 考 


MATLAB 神经 网 络 上 具 箱 提供 了 主 富 的 邑 数 ， 在 第 2 章 中 对 其 中 的 主要 函数 进行 了 
详细 说 时， 本 附录 接 类 别 列 出 了 神经 网 络 丁 具 箱 提供 的 郴 数 ， 计 对 共 进 行 简 单 搬 述 ， 


C.1 工具 箱 函 数 


工 其 箱 函数 主要 如 表 C-1 一 C-26 所 泵 。 
表 C-1 网 络 类 型 函数 


[天 站 名 称 功 能 | 






















































































assoc 作 相 英 学 习 内 则 
backprop BP 网 络 
pnan Biman 由 归 网 络 
hopfield Hopfield 阿 归 网 络 
Tinnet 线性 网 络 
ha 学 习 间 量 量化 
erept 感 震 器 
radbas1s 征 向 其 网络 

| _ selfore 归 坦 织 次 络 | 

表 C-2 分 析 函 数 
画 数 名 称 功能 
erreutf 单 输入 神经 苑 才 
maxlinir 线性 神经 抑 最 大 学 习 速 型 ] 
表 C-3 距离 夯 数 
- 
函数 名 称 贰 能 

boxdist 两 个 位 置 向 量 间 的 中 遍 
dist 欧 氏 距离 权重 霄 数 
Tinkdist | 连接 距 讽 咕 数 | 
handhst 县 哈 屈 点 高 权重 盟 数 











一 人、 六 _MATLAB.6.5 辅助 神经 网 络 分 析 与 设计 
表 C-4 图 形 接口 函数 
mwsgl un | 
hntool 


神经 网 络 工 具 箱 图 形 几 户 搂 口 








表 C-5 层 初始 化 函数 





函数 名 称 功能 
inimw NEuycn-Wdrow 反 初 始 化 本 数 
[am 权重 用 仿 央 层 初始 化 毅 数 











表 C-6 学 习 函 数 





























函数 和 名称 功能 
surmeon 公 灶 人 山 加 学习 二 数 
earmgd 梯 虐 直 降 权重 学 习 函 数 
Tearngdm. 檬 盟 下 路 动量 权重 学 习 另 数 
Ieamh Hebb 权重 学习 前 数 
earmhd 退化 的 Hebb 学 习 规 则 
camis 不 癌 定 权重 学 习 通 数 
JEarnk Kuhonen 权重 学 习 函 数 
Jeamiv1 LVYQ1 松 重 学 习 志 数 
























earmlv2 LVYQ2 权 毅 数 

earnos Onlstar 权 下 学习 函 数 | 
learnp 丫 知 路 权重 及 议 党 学 习 函 数 

Jearmnpn 需 光 化 士 刘 器 权重 大 仿冒 学 习 通 数 

eamsom 月 组 织 瑞 射 权 村 学 习 轩 煞 

Iearmwb Widow-Ho 入 权 生 及 俩 宕 学 习 规则 








表 C-?7 线性 搜索 函数 




















琢 数 和 名称 功能 
Srchhac 使 用 同 涉 搜 索 的 “ 维 最 汪 化 
Srchbre 使 用 Brent 方法 的 “ 维 间 卫 定位 
STChcha 使 用 Charalambous 方法 的 -给 其 小 化 
Stehgol 他 用 芮 会 分 制 搜索 的 乌 最 小 化 
Srchhyb, 体 用 一 分 /六 为 混合 搜索 的 一 维 最 小 化 





表 C-8 ”网络 输入 分 派 函 数 























人 数 名 称 功能 
dnetprod 乘积 网 络 答 入 分 闪 函 数 
netsum 求 利 网 络 输 入 分 啤 函 弧 
ee 了 作 。 m 
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表 C-9 网 络 输入 函数 


函数 名 称 功能 








netprod 采 积 向 络 输入 函数 





netsum | 求 和 网 络 输入 场 归 





素 C-10 网 络 初 始 化 函数 





函数 名 称 功 -能 





ininay 逐 民 亲 络 补 始 化 前 数 





表 C-11 网 络 应 用 函数 


























函数 名 称 功能 
adapi 多 讶 神经 网 络 自 通信 
disp 显示 神经 网 络 的 局 
isplay 显示 神经 网 络 变 景 作 及 属性 
让 计 初始 化 神经 网 络 
sim | 仿真 神经 网 络 
train 训练 如 经 网 络 





表 C-12 生成 新 网 络 函数 



























































四 数 名 称 功能 ” 
nefwork 生 底 - 个 和 通常 的 种 经 网络 
newe 生成 -个 范 趾 员 
newcf 个 成 -个 亲 问 民 登 BP 网 络 
newlm 生成 - 个 Ernan BP 网 络 
new 作 生成 个 前 启 BP 网 络 
Dewfttd 后 成 “个 昕 总 答 入 延 岂 BP 网 络 
newemn 设计 _ 个 泛 化 的 癌 几 网 络 
newhop 后 成 -个 Hopteld 问 瑟 同 络 
newlin 生成 - 个 线性 网 络 
newlind 设计 “个 线性 网 络 
newlvd 生成 - 个 学 习 名 电量 化 网 络 
TewE 生成 “个 壤 刘 路 
mewpm 二 设计 个儿 率 神经 网 弛 
newm 设计 - 个 答 章 基 网络 
newrhe 设计 “个 精确 的 从 向 下 网 络 
newsom 后 丰 “ 个 日 组 织 遇 对 网 络 
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表 C-13 性 能 分 派 函数 

















函数 名称 功 能 
dinae 平均 弧 对 误 疼 性 能 分 沽 二 斤 
dmse 艾 方 区 好 能 分 族 函 数 
dmsereB 均 亢 六 weg 虱 能 分 派 函 数 
dsse 训 关 于 力 和 性 佬 分 派 攀 数 





表 C-14 性 能 函数 





























函数 名称 功能 
rnae 
mse 均 方芳 叶 能 困 数 
msereg 芍 方芳 wireg 昨 能 因数 
se 襄 芳 冰 方 和 性能 显 数 
表 C-15 绘图 函数 
务 数 名 称 | 功能 
hintonw 权 拭 阵 Hinton 网 





bntonwb 权 逢 隆 及 俩 兽 疝 旺 Hinton 图 





























piotbr 贝 叶 肠 名 整 训练 网 络 姓 能 绘制 
piotep， 在 诬 兰 录 向 综 制 权重 发 偏 填 位 置 | 
Piotcs 给 制 单 输入 神 始 所 党 六 才 而 
plotmpc 丰 感 知 央 问 量 网 上 绘制 分 类 线 
plotmper 绘制 网 络 千 能 
| ppv 绘制 玉 知 强 输 入 是 杯 句 时 
plosom 绽 制 只 组 织 此 射 
ploty 将 向 里 绽 丘 为 从 让 内 发 出 的 浊 线 
plorvee 用 本 同 的 颜色 绘制 向量 





表 C-16， 预 处 理 及 后 期 处 理 函 数 
































台数 名 称 功能 
Posunnx 扎 被 prenmmx 夫 共 化 的 数据 芭 规 革 化 
Poxtrcg 后 期 处 伍 网 络 响应 w 的 线性 化 辐 归 分 村 
poxtstd 把 被 peestd 般 匈 化 的 数据 友 观 范 化 
Preninpmx 效 范 化 数据 到 -1 和 1 之 癌 
prepca 对 箱 入 数据 进行 主 成 分 分 析 
Brestd 规范 化 数据 为 0 均 侦 单位 标 唯 郊 
tramnmx 沿 预 计算 蝶 小 入 总 大 的 伐 闻 函数 
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《 续 表 ) 
| 惠 数 名 称 功能 
trapca 带 道 过 prepea 订 算 的 PCAA 革 阵 的 传递 函数 
Iastd 孩 计算 均 仙 各 标准 关 的 依 违 冰 数 
表 C-17 仿真 支持 函数 
函数 名 称 ” 功能 
| aensim 为 神经 网 缚 仿真 生成 “个 信 真 术 所 加 
表 C-18 拓扑 函数 
函数 名 称 功能 
Bridtop Gridtop 反 折 扑 鸭 数 
bextop Kexogonal 慎 扑 冰 煞 
randtop 随机 层 折 扑 现 数 
表 C-19 训练 函数 
函数 名 称 功能 | 
ainb 用 权重 及 含 热 学 习 规 则 成 持 误 | 
trainbfg EBPGS 类 盾 顿 襄 传 】 
trainbr 贝 上 斯 规范 化 
ratnc 销 趟 循序 递增 更 新 
traincgb PoewelLBeale 连 楼 梯度 四 伟 
raincef Fletcher-Powelt 连接 悦 度 可 传 
Eraincgp Polak-Ribiers 连接 梯度 回 伟 
traingd 梯度 递减 同 传 
traingda 带 折 调 亚 下 同 传 的 悄 度 递 诚 
| Umagam | 。 动 生 思 对 的 柄 度 道 大 
traingdx 带动 大 及 白 调 疏 t 回 传 的 梯 应 培 减 
Caiom | LevenhersMerguanlt 四 伟 
rainosy - 秒 正 切 问 传 
trainr 三 好 噬 应 递增 更 新 
tmainm 带 芭 部 的 回 传 CRprop) 
Hains 顾 序 递增 更 灯 | 
Erainycg 县 化 连接 梯度 回 传 
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表 C-20 传递 分 派 函 数 











































































































函数 名 称 [ 功能 

dhardlim 便 限 帆 八 递 分 汽 函 数 

dhardlms 对 称 硬 限 帆 传递 分 派 函数 

diogs 亿 对 数 $ 列传 递 分 派 函 独 

dposlin 正三 性 传递 分 派 渔 旷 

dpurelin 线性 传递 分 派 函数 

dradbas 径 剖 基 传 递 分 派 函 数 

dsatlin 饱 自 线 付 传递 分 派 范 数 

dsatins 对 称 饱和 线性 传递 分 派 函数 

dans 记 双 则 线 上 上 印 S 者 传递 分 派 函数 

eribas 三 角 基 传递 分 派 函数 

表 C-21 传递 函数 

劝 数 名 称 功 _ 纺 

compet | 竞争 传递 岳 数 

hardlim 硬 限 查 传 递 秃 数 

hardims “| 对 称 硬 限 帜 传递 函 数 

Jogi 对 数 S 型 传递 函数 

Peslin 下 线性 估 弟 分派 函数 

purelin 线 外 传递 函数 

radbas 丢 向 基 传 递 浮 数 

Satlin 饱和 线性 从 递 函数 

auins | 对 称 外 和 线性 传递 明 数 

sofmax 。 | 。 软 最 大 传递 函数 

anstg 双 巾 线 止 切 $ 虱 忧 递 画 数 

tbas 角 其 伟 递 函 归 了 

表 C-22 效用 函数 

画 数 和 名称 功 上 能 

calca 计算 网 络 输出 及 其 他 信号 

calcal 对 单个 时 间 步 长 计算 网 络 信号 

caice 计算 层 总 关 

calcel 对 单个 时 间 钞 长 计算 居 误 总 

calcBx 作为 单个 向 量 计 算 权重 及 俩 置 性 能 暗 虚 

ealcjeil 计算 雅 可 比 性 能 向 量 
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画 数 攻 如 | 功能 
calcjx 作为 单个 拓 阵 计算 权重 及 偏 央 性 能 雅 可 比 答 隆 
aicpd 。 | 计算 延 时 的 网络 输入 

、 calepetf 个 计算 网 络 输 出 、 信 苇 , 以 及 性 能 
各 让 组 合 偏 轩 及 权重 到 单个 向 晤 中 

etx 作为 单个 向 量 获 得 网 络 权重 及 偏 直 的 信 

et 作为 单个 问 量 设置 网 络 权重 及 偷 填 的 信 

表 C-23 ”向量 函数 

函数 名 称 功 _ 有 能 
epmat 组 分 一 个 细胞 数组 给 阵 到 一 个 扼 阵 中 
combvec | 。 生成 所 有 钓 向量 组 合 
comsed 把 并 行 向 量 转换 成 品行 向 量 
coneur 生成 并 行 偏 秋 问 量 
ind2vec 把 标 届 转换 成 向 基 
acell 把 矩阵 拆 成 细胞 数组 忽 阵 
max 短 隆 行 的 范围 
nome 规范 化 提 阵 的 列 | 
aomr 规范 化 处 阵 的 行 
more 俩 规范 化 矩阵 的 列 
nant 亢 数 化 值 作为 一 个 量 的 信 数 

seeon 把 序列 问 是 转换 成 并 行 向 量 
sumsgr -个 矩阵 的 必 素 平行 和 
vec2ind 把 向 县 转换 成 标号 
表 C-24 权重 及 偏 下 初始 化 函数 

冰 数 各 称 |- 功 兹 
iniieon 公平 偏 家 初始 化 函数 
inizero 零 权重 必 信 填 补 妈 水果 数 
midpoint 中 点 权重 初始 化 远 数 
andoc 规范 化 列 权重 初始 化 函数 
andr 规范 化 行 权重 补 始 化 函数 
ands 对 称 随机 权重 /篇 短 和 妨 化 因数 
eyett 才 变 网 络 权重 和 偏 填 为 最 近 的 初始 化 值 
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表 C-25 权重 分 派 函 数 



































画 数 名 称 [ 功能 
daotproa 点 积 权重 分 派 世 数 和 
表 C-26 权重 函数 
画 数 名 称 功能 
ist 欣 氏 耻 闹 权重 是 数 
dotprod 点 积 权 生 冰 
nandist 总 哈 抽 中 离 权 惠 的 煞 
egdist 负 中 寓 权 年 随 数 
aoumpred | 。 规范 化 忠 积 权重 F 数 








C.2 传递 冰 数 图 形 


传递 冰 数 图 形 妇 图 C-1 一 图 C-12 所 示 。 
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